代立冬的技术之旅

专注架构 外功修行,内功修神

排序:
默认
按更新时间
按访问量

HBase之Rowkey设计总结及易观方舟实战篇

一、引言 HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中...

2018-06-02 21:52:46

阅读数:1635

评论数:3

大数据分析的下一代架构--IOTA架构

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数...

2018-04-22 07:37:51

阅读数:1731

评论数:0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。要理解mvcc,首先需知道为什么需要进行并发控制,我们知道关...

2015-02-15 18:33:37

阅读数:39350

评论数:1

Zookeeper源码分析之leader选举

zookeeper默认选举算法为FastLeaderElection.java,其主要方法为FastLeaderElection.lookForLeader,选举的结果保存在类Vote中源码分析LOOKING 转载请注明原文链接:http://blog.csdn.net/odailidong/ar...

2014-12-10 23:27:44

阅读数:36014

评论数:0

Apache Flume - File通道设计

原文链接:https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明:翻译在尽量符合原文表达的基础上,尽量保证行文流畅。水平有限,请多指正! 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量...

2014-02-10 18:49:38

阅读数:40496

评论数:2

jvm疯狂吞占内存,罪魁祸首是谁

分享一篇公司小伙伴的关于jvm占用内存的技术文章 导读:JVM是Java Virtual Machine的缩写,中文名为Java虚拟机。它是一种用于计算设备的规范,是一个虚构出来的计算机,主要通过在实际的计算机上仿真模拟各种计算机功能来实现的。在实际运用过程中,易观技术人员注意到一台开发机上各个...

2018-11-12 14:25:32

阅读数:8

评论数:0

druid异常处理:Types.collectionOf(Ljava/lang/reflect/Type;)Ljava/lang/reflect/ParameterizedType

2018-11-10T19:54:35,072 INFO [task-runner-0-priority-0] io.druid.indexer.DetermineHashedPartitionsJob - Job wikiticker-determine_partitions_hashed-O...

2018-11-10 20:22:27

阅读数:9

评论数:0

macbook上ssh localhost免密登录

第一步:ssh-keygen -t rsa         然后提示输入直接按回车就好 第二步:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 第三步:chmod og-wx ~/.ssh/authoriz...

2018-11-09 22:12:52

阅读数:968

评论数:0

Alluxio Meetup 2018.10.28北京进行,欢迎交流

#搜狗如何将Spark Shuffle迁移到上千台Alluxio机器集群,服务知识图谱? #七牛云如何用Alluxio在云端搭建通用深度学习平台? #京东又是如何定制基于普雷斯托的查询平台? 欢迎大家参加2018.10.28(本周日)Alluxio Meetup北京站。与Alluxio公司的...

2018-10-24 11:58:51

阅读数:81

评论数:0

ES实践经验分享

公司小伙伴最近分享了ES的实践经验,在此分享给大家: 一、 硬件环境选择 如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性;IO的提升,会极大改进ES的速度和性能;内存配置方面,一般来说,64G内存的机器节点较佳。   二、系统...

2018-09-19 17:22:20

阅读数:49

评论数:0

Druid异常处理:java.lang.RuntimeException: No buckets?? seems there is no data to index.

2018-09-16T15:10:53,695 ERROR [task-runner-0-priority-0] io.druid.indexing.overlord.ThreadPoolTaskRunner - Exception while running task[HadoopIndexT...

2018-09-17 11:38:20

阅读数:153

评论数:0

各种压缩技术性能比较

各种压缩技术性能比较: Compressor name Ratio Compression Decompress. zstd 1.3.4 -1 2.877 470 MB/s 1380 MB/s zlib 1.2.11 -1 2.743 11...

2018-09-14 12:09:48

阅读数:83

评论数:0

Linux OOM killer详解

Linux OOM killer 作为Linux下的程序员,有时不得不面对一个问题,那就是系统内存被用光了,这时当进程再向内核申请内存时,内核会怎么办呢?程序里面调用的malloc函数会返回null吗? 为了处理内存不足时的问题,Linux内核发明了一种机制,叫OOM(Out Of Memor...

2018-08-21 15:02:40

阅读数:114

评论数:0

吴军《硅谷来信》思维导图笔记 - 工作篇

吴军《硅谷来信》思维导图笔记 - 工作篇 一、职业发展部分 此部分思维导图URL:https://www.processon.com/view/5a27c093e4b0101bd6d225ed PS:五级工程师的定义,看看你现在处于哪一级? 二、工作效率部分 此部分思维导图U...

2018-08-16 11:16:39

阅读数:160

评论数:0

运营干货 | 如何高效引导,使产品达成自传播增长模式

作为增长部门的一员,观察产品运营数据时发现,持续十来天用户日均增量不超过50? 半月前新版上线跟某平台合作进行宣传推广,在复盘过程中却发现该渠道过来的用户7日留存率不足5%? 作为一款社交软件,产品目前处于探索实施阶段,只能通过举办活动来获客,非活动期间几乎没有新增用户? ...

2018-08-13 10:50:47

阅读数:149

评论数:0

2018第二届易观算法大赛报名啦

2018-07-30 10:50:10

阅读数:263

评论数:0

APP埋点方式大汇总

埋点方式大汇总图如下:   代码埋点 无码埋点 全/无埋点 按业务需求自定义埋点 √ √   支持事件参数 ...

2018-07-26 10:34:11

阅读数:1081

评论数:0

B+Tree 可视化

通过B+Tree 可视化 直观操作理解下B+Tree的插入,查找,更新和删除过程https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html数据结构可视化:https://www.cs.usfca.edu/~galles/visuali...

2018-07-08 13:22:00

阅读数:222

评论数:0

LRU算法四种实现方式介绍

LRU全称是Least Recently Used,即最近最久未使用的意思。LRU算法的设计原则是:如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时,应当把最久没有被访问到的数据淘汰。实现LRU     1.用一个数组来存储数据,给每一个...

2018-07-04 19:03:40

阅读数:238

评论数:0

一篇推文到底能带来多少流量?UTM参数玩转流量识别与追踪

APP运营工作中的每一步都会讲求ROI(投资回报率),我们进行各种形式的推广,每种推广带来的流量效果如何呢?这就是本文探讨的内容——使用UTM参数进行流量识别。以下为本文的文章结构图: ▌令无数小编垂泪的流量迷思业务场景1:运营同学A每天都会发至少一篇文章到微信公众号,在阅读原文处加上跳转链接,方...

2018-07-04 18:33:02

阅读数:163

评论数:0

提示
确定要删除当前文章?
取消 删除