代立冬的技术之旅

专注架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量

HBase之Rowkey设计总结及方舟实战篇

一、引言HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中的数...

2018-06-02 21:52:46

阅读数:1156

评论数:3

大数据分析的下一代架构--IOTA架构

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数...

2018-04-22 07:37:51

阅读数:489

评论数:0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。要理解mvcc,首先需知道为什么需要进行并发控制,我们知道关...

2015-02-15 18:33:37

阅读数:39153

评论数:1

Zookeeper源码分析之leader选举

zookeeper默认选举算法为FastLeaderElection.java,其主要方法为FastLeaderElection.lookForLeader,选举的结果保存在类Vote中源码分析LOOKING 转载请注明原文链接:http://blog.csdn.net/odailidong/ar...

2014-12-10 23:27:44

阅读数:35828

评论数:0

Apache Flume - File通道设计

原文链接:https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明:翻译在尽量符合原文表达的基础上,尽量保证行文流畅。水平有限,请多指正! 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量...

2014-02-10 18:49:38

阅读数:40388

评论数:2

运营干货| 用户触达36计,和用户来次亲密接触

运营干货| 用户触达36计,和用户来次亲密接触 周长清 2018-05-25 15:47数据分析, 用户召回, 用户触达, 用户运营, 精细化运营中年油腻的人可能都听过《第一次的亲密接触》,剧情梗概是痞子蔡在网络上因一篇Plan邂逅自己的女神轻舞飞扬,在一来二去的网上聊天和之后的见面……如果网站...

2018-06-13 09:39:13

阅读数:46

评论数:0

几张图看懂高级经理人与普通管理者的区别

普通管理者的对下属的态度情商是管理者重要的特质,高情商在管理者中主要表现为情绪稳定。对于初级管理者而言,他们的情绪很容易被员工的行为左右,并不能及时的调整,员工一旦出错或者是工作表现不理想,初级管理者就会陷入到负面的情绪中。领导力发展项目发现,很多技术型管理者表示,其实他们真心不愿意带团队,其中重...

2018-05-30 19:08:08

阅读数:220

评论数:0

以获客为目标 ,如何从0到1实现用户增长?

以获客为目标 ,如何从0到1实现用户增长? 周长清 2018-04-11 18:08UTM, 代码部署, 留存分析, 网站分析, 转化漏斗每个网站都有目标。如果网站以获客为目标,那么就需要尽可能地让客户留下自己的信息,即我们常说的销售线索。网站目标确定后又该如何实现呢?首先需要对这个目标进行分解...

2018-05-26 00:12:43

阅读数:66

评论数:0

那些100%被浪费的运营预算,其实本可以避免

那些100%被浪费的运营预算,其实本可以避免 仲志成 2018-04-11 17:41广告屏蔽插件, 用户召回, 用户触达, 精细化运营, 节支随着数字技术的迅速发展,运营、产品和营销人员可以使用的数字化运营及营销推广手段也越来越多。从近几年该领域B2B公司数量激增的生态板图中,我们可以看出这一...

2018-05-22 19:49:54

阅读数:72

评论数:0

用户召回推送消息到达率低?用这4问推出最优解

用户召回推送消息到达率低?用这4问推出最优解 张晓亮 2018-04-11 17:08App后台进程促活, 到达率, 推送消息, 最优解, 用户召回在消息推送这件事上,国内无法使用谷歌官方的GCM,各个ROM厂商对消息推送的实现也存在一定差异,甚至同一厂家开发的不同版本ROM在兼容性上都存在差异...

2018-05-22 19:28:22

阅读数:71

评论数:0

mac下ll命令使用

Create a file named "~/.profile" and add the following line to it:alias ll='ls -lGh'Restart your terminal session。

2018-04-22 07:33:12

阅读数:106

评论数:0

工作要做对,更要做到位

日本的管理人员在布置工作内容的时候会把问题交待五遍:    第一遍陈述问题。            渡边君,到超市打瓶酱油?    第二遍重复问题。            渡边君,请重复下我刚才说的。于是渡边君就又重复了一次。    第三遍目的。            渡边君,你知道我为什么让你去...

2018-04-18 22:28:34

阅读数:84

评论数:0

class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理

 [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartit...

2018-03-31 14:21:10

阅读数:344

评论数:0

Hive实现分组排序或者分页

使用到的语法:ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始,为每一条分组记录返回一个数字,这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序,再...

2018-03-27 23:24:42

阅读数:412

评论数:0

五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)

五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)发表于: 互联网 | 作者: 博客教主标签: Apache,BSD,GPL,LGPL,MIT,协议,开源当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时,”开源”的时代即将到来!现今存在的开源协议很...

2018-03-23 17:43:21

阅读数:152

评论数:0

永久关闭linux swap

一般来说,Linux的虚拟内存会根据系统负载自动调整。内存页(page)swap到磁盘会显著的影响Kafka的性能,并且Kafka重度使用page cache,如果VM系统swap到磁盘,那说明没有足够的内存来分配page cache。 避免swap的一种方式是设置swap空间为0。但是,swap...

2018-03-22 16:47:05

阅读数:846

评论数:0

journalnode Can't scan a pre-transactional edit log异常处理

一个测试环境hadoop集群由于磁盘满导致宕机,启动后发现journalnode报如下异常:2018-03-19 20:48:04,817 WARN  namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught ...

2018-03-20 17:03:58

阅读数:255

评论数:0

该虚拟机的某个磁盘已经由虚拟机或者快照使用 问题解决

解决方式如下:1)删除虚拟机配置文件下面的.lck文件2)删除类型为快照的.vmsn/.vmsd文件然后重启虚拟机即可

2018-03-19 02:19:29

阅读数:1219

评论数:0

np.linalg.norm(求范数)

1、linalg=linear(线性)+algebra(代数),norm则表示范数。2、函数参数[python] view plain copyx_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False)  ①x: 表示矩阵(也可以是一...

2018-03-19 00:50:49

阅读数:261

评论数:1

大数据存储平台调优之Hadoop优化

大数据存储平台调优之Hadoop优化在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后,我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说:一是HDFS存储方面,一是计算方面 1、 HDFS方面:1> 存储格式的选择对于分析类型的业...

2018-03-15 23:22:54

阅读数:422

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭