代立冬的技术之旅

专注架构 外功修行,内功修神

EasyScheduler大数据调度系统架构分享

EasyScheduler大数据调度系统架构分享 导语 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支...

2018-12-13 20:01:57

阅读数:10

评论数:0

劳动合同解除及补偿一览表

经济寒冬下,人员优化情况时有发生,小伙伴们了解一下自己的权益,哈哈!

2018-12-13 13:44:20

阅读数:63

评论数:0

HBase之Rowkey设计总结及易观方舟实战篇

一、引言 HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能。HBase中...

2018-06-02 21:52:46

阅读数:1700

评论数:3

大数据分析的下一代架构--IOTA架构

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数...

2018-04-22 07:37:51

阅读数:2127

评论数:0

HBase并行写机制(mvcc)

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multi Version Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能。 要理解mvcc,首先需知道为什么需要进行并发控制,我们...

2015-02-15 18:33:37

阅读数:39372

评论数:1

Zookeeper源码分析之leader选举

zookeeper默认选举算法为FastLeaderElection.java,其主要方法为FastLeaderElection.lookForLeader,选举的结果保存在类Vote中源码分析LOOKING 转载请注明原文链接:http://blog.csdn.net/odailidong/ar...

2014-12-10 23:27:44

阅读数:36085

评论数:0

Apache Flume - File通道设计

原文链接:https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明:翻译在尽量符合原文表达的基础上,尽量保证行文流畅。水平有限,请多指正! 这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量...

2014-02-10 18:49:38

阅读数:40510

评论数:2

Alluxio客户端显示找不到FileSystem类问题分析与解决

我们发现时常在用户邮件列表上会出现一个有关作业失败的问题,这个失败伴随着错误消息“java.lang.ClassNotFoundException:Class alluxio.hadoop.FileSystemnot found”。这篇博客分析解释了这种失败的原因以及发生该问题时的解决方案。 为...

2018-12-13 17:30:24

阅读数:16

评论数:0

BitMap算法详解

BitMap算法详解   所谓的BitMap就是用一个bit位来标记某个元素所对应的value,而key即是该元素,由于BitMap使用了bit位来存储数据,因此可以大大节省存储空间。 基本思想:   这此我用一个简单的例子来详细介绍BitMap算法的原理。假设我们要对0-7内的5个元素(4...

2018-11-16 16:54:56

阅读数:24

评论数:0

jvm疯狂吞占内存,罪魁祸首是谁

分享一篇公司小伙伴的关于jvm占用内存的技术文章 导读:JVM是Java Virtual Machine的缩写,中文名为Java虚拟机。它是一种用于计算设备的规范,是一个虚构出来的计算机,主要通过在实际的计算机上仿真模拟各种计算机功能来实现的。在实际运用过程中,易观技术人员注意到一台开发机上各个...

2018-11-12 14:25:32

阅读数:64

评论数:0

druid异常处理:Types.collectionOf(Ljava/lang/reflect/Type;)Ljava/lang/reflect/ParameterizedType

2018-11-10T19:54:35,072 INFO [task-runner-0-priority-0] io.druid.indexer.DetermineHashedPartitionsJob - Job wikiticker-determine_partitions_hashed-O...

2018-11-10 20:22:27

阅读数:55

评论数:0

macbook上ssh localhost免密登录

第一步:ssh-keygen -t rsa         然后提示输入直接按回车就好 第二步:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 第三步:chmod og-wx ~/.ssh/authoriz...

2018-11-09 22:12:52

阅读数:988

评论数:0

Alluxio Meetup 2018.10.28北京进行,欢迎交流

#搜狗如何将Spark Shuffle迁移到上千台Alluxio机器集群,服务知识图谱? #七牛云如何用Alluxio在云端搭建通用深度学习平台? #京东又是如何定制基于普雷斯托的查询平台? 欢迎大家参加2018.10.28(本周日)Alluxio Meetup北京站。与Alluxio公司的...

2018-10-24 11:58:51

阅读数:96

评论数:0

ES实践经验分享

公司小伙伴最近分享了ES的实践经验,在此分享给大家: 一、 硬件环境选择 如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性;IO的提升,会极大改进ES的速度和性能;内存配置方面,一般来说,64G内存的机器节点较佳。   二、系统...

2018-09-19 17:22:20

阅读数:68

评论数:0

Druid异常处理:java.lang.RuntimeException: No buckets?? seems there is no data to index.

2018-09-16T15:10:53,695 ERROR [task-runner-0-priority-0] io.druid.indexing.overlord.ThreadPoolTaskRunner - Exception while running task[HadoopIndexT...

2018-09-17 11:38:20

阅读数:171

评论数:0

各种压缩技术性能比较

各种压缩技术性能比较: Compressor name Ratio Compression Decompress. zstd 1.3.4 -1 2.877 470 MB/s 1380 MB/s zlib 1.2.11 -1 2.743 11...

2018-09-14 12:09:48

阅读数:103

评论数:0

Linux OOM killer详解

Linux OOM killer 作为Linux下的程序员,有时不得不面对一个问题,那就是系统内存被用光了,这时当进程再向内核申请内存时,内核会怎么办呢?程序里面调用的malloc函数会返回null吗? 为了处理内存不足时的问题,Linux内核发明了一种机制,叫OOM(Out Of Memor...

2018-08-21 15:02:40

阅读数:151

评论数:0

吴军《硅谷来信》思维导图笔记 - 工作篇

吴军《硅谷来信》思维导图笔记 - 工作篇 一、职业发展部分 此部分思维导图URL:https://www.processon.com/view/5a27c093e4b0101bd6d225ed PS:五级工程师的定义,看看你现在处于哪一级? 二、工作效率部分 此部分思维导图U...

2018-08-16 11:16:39

阅读数:227

评论数:0

运营干货 | 如何高效引导,使产品达成自传播增长模式

作为增长部门的一员,观察产品运营数据时发现,持续十来天用户日均增量不超过50? 半月前新版上线跟某平台合作进行宣传推广,在复盘过程中却发现该渠道过来的用户7日留存率不足5%? 作为一款社交软件,产品目前处于探索实施阶段,只能通过举办活动来获客,非活动期间几乎没有新增用户? ...

2018-08-13 10:50:47

阅读数:157

评论数:0

2018第二届易观算法大赛报名啦

2018-07-30 10:50:10

阅读数:294

评论数:0

提示
确定要删除当前文章?
取消 删除