JasonLeeLz-CSDN博客

原创 Storm短暂的Worker脑裂之旅

Storm中supervisor控制着worker的生命周期，负责worker的启停。前端时间开发类似Storm中这样的一套系统时(worker和storm差别很大)脑裂的问题，supervisor负责启动一个worker，而最后上机器ps看到却有两个相同的worker，这两个相同的worker反复重启导致一堆奇怪的现象。Supervisor与WorkerStorm中，supe

2016-05-14 20:42:50 1971

原创流计算概述(一)

何为流计算？批计算是已经存在一堆数据，需要用一次计算把这堆数据处理完。而流计算是有一个源源不断的源头，是一个为了无止境的数据集设计的计算框架。批计算处理的是有界的数据集，而流计算处理的是一个近似无界的数据集。批计算更关注的是吞吐量，而流计算更关注的是低延时。流计算还有个特性，就是增量性，数据源源不断的流入，对计算结果进行增量的更新，这给状态的容错带来了很大的复杂性(Exactl

2016-05-14 10:32:58 2440

原创 Storm深度分析及其正式版本思考

Storm发展到现在已经有了5个年头，从刚开始惊艳四方，到现在逐渐被新兴框架(Flink、Spark Streaming)挑战。Storm本身也在不断的发展，Twitter对其不断的探索，且深一步的开发了Heron框架。社区也在憋了5年后发布了第一个正式版本。Storm内部机制及探索内部机制Storm写了一层调度系统，Nimbus作为调度的Master(类似ResourceManage

2016-05-10 21:01:03 7252

原创 Samza状态管理分析

Samza是依赖Kafka作为通信层的流计算框架。本文主要分析其state的管理。概述增量存储粒度：增量。这里的存储粒度指的是对状态的容错处理，在分布式环境中，保存在本地(内存OR硬盘)的状态随时可能丢失，所以需要把状态定期checkpoint到可靠的存储引擎中，增量还是全量取决于checkpoint的方式。目前Trident靠HBase等数据库产品帮它做了增量的状态管理，

2016-04-24 12:58:19 1360

原创 Flink on Hadoop 从零搭建

准备机器：hostname-0(A机)、hostname-i(Slave机若干)JAVA: 部署好Java环境，保证环境变量(.bashrc .bash_profile)。SSH：打通A机到Slave机器的无密码登陆权限(包括A机ssh自己)Hadoop(2.7*)搭建1.下包，解压成hadoop目录。2.在hadoop目录下创建HDFS使用的目录：tmp、hdfs

2016-04-20 20:55:35 8713

Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的历史了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了Apache顶级孵化器。Spark以批计算的底层引擎同时支持批计算和流计算(把流切成小批)，不同的是，Flink以流计算的底层引擎同时支持批计算和流计算，Flink提供了DataSet和DataStream的API，并在其上提供机器学习和图计算的库。最近，Flink也在发展SQL相关的API(Table)，类

2016-04-11 21:37:37 4222

原创大数据计算优化：Java 反射为什么慢？

最近在看Flink中一个新feature：使用CodeGen来优化序列化器。Flink中会根据用户定义的输入输出信息，生成相应的序列化器，这种定制化的序列化器比起Kryo性能要高很多，因为不用写类型信息等等。但是对于用户的POJO，序列化仍然是有些场景的瓶颈所在，因为不管这么定制，序列化器仍然需要通过反射来拿到对应字段。那反射比起getXXX方法来说究竟慢在哪里呢？（这里特别说明对比的是反射中的Field/get）反射缺点：1.由于是本地方法调用，让JVM无法优化(还有JIT？)。2.反射方法调用

2016-04-10 08:29:04 12616 1

JasonLeeLz的博客