- 博客(4)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 Kafka源码阅读 —— KafkaController(2)
Controller与broker之间的消息通道当Controller做出动作时,需要向集群中的broker发送控制消息。发送的消息三种:LeaderAndIsrRequest、UpdateMetadataRequest和StopReplicaRequest, broker收到消息后,通过KafkaApis.handle进行处理————事实上,KafkaApis.handle是broker上的业务线
2016-09-25 23:40:41 775
原创 Kafka源码阅读 —— KafkaController(1)
KafkaController 启动在KafkaServer.startup()中,KafkaController对象被构建,在启动KafkaApis、replicaManager后,KafkaController.startup()被调用。Kafka集群中每个Broker都会调用startup()函数,但是一个集群只有一个Broker能够成为Controller。那么,谁将成为这个被选中的人呢?
2016-09-25 23:19:36 659
原创 数据从kafka到hive(1)
数据从kafka到hive(1)背景公司的系统是一个对外提供服务的接口,每一次调用日志都需要保存到hive中,以便后期做数据分析。每天的调用量在亿级,日志数据量100G以上,在量级还没有这么大的时候,采取的办法比较原始:直接通过log4j打印到日志文件,然后通过抽数工具同步到hive中,每天凌晨同步前一天的数据。随着量级增大,日志文件越来越大,每天抽数就要抽好几个小时,而且偶尔还由于网络问题等原因失
2016-09-07 12:33:56 16300 2
原创 数据从kafka到hive(2)
数据从kafka到hive(2)标签(空格分隔): kafka hive ETL 源码前面一篇讲到了将数据从kafka读到hdfs使用了开源工具camus,既然用到了开源的代码,免不了研究一下实现过程。所以这里分享一下阅读camus代码了解到的一些细节。前置知识在讲camus之前,需要提一下hadoop的一些知识。关于inputFormatinputFormat类的原型如下:public inter
2016-09-07 12:33:01 5307
windows如何设置所有未知后缀文件关联到某一程序?
2014-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人