代立冬的技术之旅

专注架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量

HBase之Rowkey设计总结及易观方舟实战篇

一、引言 HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中...

2018-06-02 21:52:46

阅读数:1512

评论数:3

大数据分析的下一代架构--IOTA架构

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数...

2018-04-22 07:37:51

阅读数:1103

评论数:0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。要理解mvcc,首先需知道为什么需要进行并发控制,我们知道关...

2015-02-15 18:33:37

阅读数:39303

评论数:1

Zookeeper源码分析之leader选举

zookeeper默认选举算法为FastLeaderElection.java,其主要方法为FastLeaderElection.lookForLeader,选举的结果保存在类Vote中源码分析LOOKING 转载请注明原文链接:http://blog.csdn.net/odailidong/ar...

2014-12-10 23:27:44

阅读数:35950

评论数:0

Apache Flume - File通道设计

原文链接:https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明:翻译在尽量符合原文表达的基础上,尽量保证行文流畅。水平有限,请多指正! 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量...

2014-02-10 18:49:38

阅读数:40456

评论数:2

ES实践经验分享

公司小伙伴最近分享了ES的实践经验,在此分享给大家: 一、 硬件环境选择 如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性;IO的提升,会极大改进ES的速度和性能;内存配置方面,一般来说,64G内存的机器节点较佳。   二、系统...

2018-09-19 17:22:20

阅读数:19

评论数:0

Druid异常处理:java.lang.RuntimeException: No buckets?? seems there is no data to index.

2018-09-16T15:10:53,695 ERROR [task-runner-0-priority-0] io.druid.indexing.overlord.ThreadPoolTaskRunner - Exception while running task[HadoopIndexT...

2018-09-17 11:38:20

阅读数:20

评论数:0

各种压缩技术性能比较

各种压缩技术性能比较: Compressor name Ratio Compression Decompress. zstd 1.3.4 -1 2.877 470 MB/s 1380 MB/s zlib 1.2.11 -1 2.743 11...

2018-09-14 12:09:48

阅读数:49

评论数:0

Linux OOM killer详解

Linux OOM killer 作为Linux下的程序员,有时不得不面对一个问题,那就是系统内存被用光了,这时当进程再向内核申请内存时,内核会怎么办呢?程序里面调用的malloc函数会返回null吗? 为了处理内存不足时的问题,Linux内核发明了一种机制,叫OOM(Out Of Memor...

2018-08-21 15:02:40

阅读数:47

评论数:0

吴军《硅谷来信》思维导图笔记 - 工作篇

吴军《硅谷来信》思维导图笔记 - 工作篇 一、职业发展部分 此部分思维导图URL:https://www.processon.com/view/5a27c093e4b0101bd6d225ed PS:五级工程师的定义,看看你现在处于哪一级? 二、工作效率部分 此部分思维导图U...

2018-08-16 11:16:39

阅读数:103

评论数:0

运营干货 | 如何高效引导,使产品达成自传播增长模式

作为增长部门的一员,观察产品运营数据时发现,持续十来天用户日均增量不超过50? 半月前新版上线跟某平台合作进行宣传推广,在复盘过程中却发现该渠道过来的用户7日留存率不足5%? 作为一款社交软件,产品目前处于探索实施阶段,只能通过举办活动来获客,非活动期间几乎没有新增用户? ...

2018-08-13 10:50:47

阅读数:124

评论数:0

2018第二届易观算法大赛报名啦

2018-07-30 10:50:10

阅读数:199

评论数:0

APP埋点方式大汇总

埋点方式大汇总图如下:   代码埋点 无码埋点 全/无埋点 按业务需求自定义埋点 √ √   支持事件参数 ...

2018-07-26 10:34:11

阅读数:646

评论数:0

B+Tree 可视化

通过B+Tree 可视化 直观操作理解下B+Tree的插入,查找,更新和删除过程https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html数据结构可视化:https://www.cs.usfca.edu/~galles/visuali...

2018-07-08 13:22:00

阅读数:117

评论数:0

LRU算法四种实现方式介绍

LRU全称是Least Recently Used,即最近最久未使用的意思。LRU算法的设计原则是:如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时,应当把最久没有被访问到的数据淘汰。实现LRU     1.用一个数组来存储数据,给每一个...

2018-07-04 19:03:40

阅读数:213

评论数:0

一篇推文到底能带来多少流量?UTM参数玩转流量识别与追踪

APP运营工作中的每一步都会讲求ROI(投资回报率),我们进行各种形式的推广,每种推广带来的流量效果如何呢?这就是本文探讨的内容——使用UTM参数进行流量识别。以下为本文的文章结构图: ▌令无数小编垂泪的流量迷思业务场景1:运营同学A每天都会发至少一篇文章到微信公众号,在阅读原文处加上跳转链接,方...

2018-07-04 18:33:02

阅读数:112

评论数:0

linux使用FIO测试磁盘的iops

linux使用FIO测试磁盘的iops博客分类: IO FIO是测试IOPS的非常好的工具,用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guas...

2018-06-28 18:25:59

阅读数:75

评论数:0

jdk8 GC之详解CMS收集过程和日志分析

话题引入让我们先简单的看下整个堆年轻代和年老代的垃圾收集器组合(以下配合java8完美支持,其他版本可能稍有不同),其中标红线的则是我们今天要着重讲的内容:ParNew and CMS"Concurrent Mark and Sweep" 是CMS的全称,官方给...

2018-06-21 18:23:56

阅读数:319

评论数:0

运营干货| 用户触达36计,和用户来次亲密接触

运营干货| 用户触达36计,和用户来次亲密接触 周长清 2018-05-25 15:47数据分析, 用户召回, 用户触达, 用户运营, 精细化运营中年油腻的人可能都听过《第一次的亲密接触》,剧情梗概是痞子蔡在网络上因一篇Plan邂逅自己的女神轻舞飞扬,在一来二去的网上聊天和之后的见面……如果网站...

2018-06-13 09:39:13

阅读数:140

评论数:0

几张图看懂高级经理人与普通管理者的区别

普通管理者的对下属的态度情商是管理者重要的特质,高情商在管理者中主要表现为情绪稳定。对于初级管理者而言,他们的情绪很容易被员工的行为左右,并不能及时的调整,员工一旦出错或者是工作表现不理想,初级管理者就会陷入到负面的情绪中。领导力发展项目发现,很多技术型管理者表示,其实他们真心不愿意带团队,其中重...

2018-05-30 19:08:08

阅读数:348

评论数:0

提示
确定要删除当前文章?
取消 删除