- 博客(4)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Kafka源码阅读 —— KafkaController(2)
Controller与broker之间的消息通道当Controller做出动作时，需要向集群中的broker发送控制消息。发送的消息三种：LeaderAndIsrRequest、UpdateMetadataRequest和StopReplicaRequest， broker收到消息后，通过KafkaApis.handle进行处理————事实上，KafkaApis.handle是broker上的业务线
2016-09-25 23:40:41
774
原创 Kafka源码阅读 —— KafkaController(1)
KafkaController 启动在KafkaServer.startup()中,KafkaController对象被构建，在启动KafkaApis、replicaManager后，KafkaController.startup()被调用。Kafka集群中每个Broker都会调用startup()函数，但是一个集群只有一个Broker能够成为Controller。那么，谁将成为这个被选中的人呢？
2016-09-25 23:19:36
656
原创 数据从kafka到hive（1）
数据从kafka到hive（1）背景公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一天的数据。随着量级增大，日志文件越来越大，每天抽数就要抽好几个小时，而且偶尔还由于网络问题等原因失
2016-09-07 12:33:56
16295
2
原创 数据从kafka到hive（2）
数据从kafka到hive（2）标签（空格分隔）： kafka hive ETL 源码前面一篇讲到了将数据从kafka读到hdfs使用了开源工具camus，既然用到了开源的代码，免不了研究一下实现过程。所以这里分享一下阅读camus代码了解到的一些细节。前置知识在讲camus之前，需要提一下hadoop的一些知识。关于inputFormatinputFormat类的原型如下：public inter
2016-09-07 12:33:01
5302
windows如何设置所有未知后缀文件关联到某一程序？
2014-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人