代立冬的技术之旅

专注架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量

大数据分析的下一代架构--IOTA

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数...

2018-04-22 07:37:51

阅读数:270

评论数:0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。要理解mvcc,首先需知道为什么需要进行并发控制,我们知道关...

2015-02-15 18:33:37

阅读数:39067

评论数:1

zookeeper源码分析之leader选举

zookeeper默认选举算法为FastLeaderElection.java,其主要方法为FastLeaderElection.lookForLeader,选举的结果保存在类Vote中源码分析LOOKING 转载请注明原文链接:http://blog.csdn.net/odailidong/ar...

2014-12-10 23:27:44

阅读数:35741

评论数:0

Apache Flume - File通道设计

原文链接:https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明:翻译在尽量符合原文表达的基础上,尽量保证行文流畅。水平有限,请多指正! 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量...

2014-02-10 18:49:38

阅读数:40318

评论数:2

以获客为目标 ,如何从0到1实现用户增长?

以获客为目标 ,如何从0到1实现用户增长? 周长清 2018-04-11 18:08UTM, 代码部署, 留存分析, 网站分析, 转化漏斗每个网站都有目标。如果网站以获客为目标,那么就需要尽可能地让客户留下自己的信息,即我们常说的销售线索。网站目标确定后又该如何实现呢?首先需要对这个目标进行分解...

2018-05-26 00:12:43

阅读数:11

评论数:0

那些100%被浪费的运营预算,其实本可以避免

那些100%被浪费的运营预算,其实本可以避免 仲志成 2018-04-11 17:41广告屏蔽插件, 用户召回, 用户触达, 精细化运营, 节支随着数字技术的迅速发展,运营、产品和营销人员可以使用的数字化运营及营销推广手段也越来越多。从近几年该领域B2B公司数量激增的生态板图中,我们可以看出这一...

2018-05-22 19:49:54

阅读数:20

评论数:0

用户召回推送消息到达率低?用这4问推出最优解

用户召回推送消息到达率低?用这4问推出最优解 张晓亮 2018-04-11 17:08App后台进程促活, 到达率, 推送消息, 最优解, 用户召回在消息推送这件事上,国内无法使用谷歌官方的GCM,各个ROM厂商对消息推送的实现也存在一定差异,甚至同一厂家开发的不同版本ROM在兼容性上都存在差异...

2018-05-22 19:28:22

阅读数:19

评论数:0

mac下ll命令使用

Create a file named "~/.profile" and add the following line to it:alias ll='ls -lGh'Restart your terminal session。

2018-04-22 07:33:12

阅读数:43

评论数:0

工作要做对,更要做到位

日本的管理人员在布置工作内容的时候会把问题交待五遍:    第一遍陈述问题。            渡边君,到超市打瓶酱油?    第二遍重复问题。            渡边君,请重复下我刚才说的。于是渡边君就又重复了一次。    第三遍目的。            渡边君,你知道我为什么让你去...

2018-04-18 22:28:34

阅读数:34

评论数:0

class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理

 [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartit...

2018-03-31 14:21:10

阅读数:201

评论数:0

Hive实现分组排序或者分页

使用到的语法:ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始,为每一条分组记录返回一个数字,这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序,再...

2018-03-27 23:24:42

阅读数:288

评论数:0

五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)

五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)发表于: 互联网 | 作者: 博客教主标签: Apache,BSD,GPL,LGPL,MIT,协议,开源当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时,”开源”的时代即将到来!现今存在的开源协议很...

2018-03-23 17:43:21

阅读数:95

评论数:0

永久关闭linux swap

一般来说,Linux的虚拟内存会根据系统负载自动调整。内存页(page)swap到磁盘会显著的影响Kafka的性能,并且Kafka重度使用page cache,如果VM系统swap到磁盘,那说明没有足够的内存来分配page cache。 避免swap的一种方式是设置swap空间为0。但是,swap...

2018-03-22 16:47:05

阅读数:489

评论数:0

journalnode Can't scan a pre-transactional edit log异常处理

一个测试环境hadoop集群由于磁盘满导致宕机,启动后发现journalnode报如下异常:2018-03-19 20:48:04,817 WARN  namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught ...

2018-03-20 17:03:58

阅读数:172

评论数:0

该虚拟机的某个磁盘已经由虚拟机或者快照使用 问题解决

解决方式如下:1)删除虚拟机配置文件下面的.lck文件2)删除类型为快照的.vmsn/.vmsd文件然后重启虚拟机即可

2018-03-19 02:19:29

阅读数:885

评论数:0

np.linalg.norm(求范数)

1、linalg=linear(线性)+algebra(代数),norm则表示范数。2、函数参数[python] view plain copyx_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False)  ①x: 表示矩阵(也可以是一...

2018-03-19 00:50:49

阅读数:173

评论数:1

大数据存储平台调优之Hadoop优化

大数据存储平台调优之Hadoop优化在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后,我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说:一是HDFS存储方面,一是计算方面 1、 HDFS方面:1> 存储格式的选择对于分析类型的业...

2018-03-15 23:22:54

阅读数:339

评论数:0

大数据存储平台之异构存储实践

经常做数据处理的伙伴们肯定会有这样一种体会:最近一周内的数据会被经常使用到,而比如最近几周的数据使用率会有下降,每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑,存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据,对需要频繁访问的数据我们称之为“热”数据,反之我们称之为”冷”数据,...

2018-03-13 10:28:11

阅读数:2714

评论数:0

让keras训练深度网络时使用多个显卡

1、使用nvidia-smi pmon 查看linux系统的gpu情况,如下:显然是2张显卡,如何让它们都工作呢2、keras提供了keras.utils import multi_gpu_model使用多个显卡的功能:在原来的model基础上使用multi_gpu_model函数指定一下gpu个...

2018-02-17 18:26:10

阅读数:605

评论数:0

python文件操作

使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。file_object = open('thefile.txt')try:     all_the_text = file_object.read( )finally:   ...

2018-02-16 12:25:12

阅读数:230

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭