Kafka
ChanKamShing
这个作者很懒,什么都没留下…
展开
-
CentOS7搭建flink1.6与消费kafka操作
写在最前,本次环境搭建是在Hadoop2.6.1,三节点的基础上完成的。(关于搭建Hadoop环境,可参考:https://blog.csdn.net/weixin_39400271/article/details/89057884)说明:#master,表示在master节点上操作;#master,#slave1,#slave2,表示在三个节点上都要操作;一、准备工作再官...原创 2019-07-10 08:10:58 · 457 阅读 · 0 评论 -
CentOS7环境搭建Kafka2.11+(flume测试、多producer——单topic——多consumer)
写在最前,本次环境搭建是在Hadoop2.6.1,Zookeeper3.4.11,三节点的基础上完成的。(关于搭建Hadoop环境,可参考:https://blog.csdn.net/weixin_39400271/article/details/89057884关于搭建zookeeper环境,可参考:https://blog.csdn.net/weixin_39400271/articl...原创 2019-06-08 00:06:00 · 586 阅读 · 0 评论 -
深入浅出Kafka——可靠性存储
一、kafka体系架构 由上图可知,有三台机器搭建的kafka集群,kafka作为一种消息队列,producer以push模式将数据发送到kafka的机器上(每一台kafka机器可以认为是一个kafkabroker),同时订阅了kafkabroker的consumer,以pull模式对消息进行消费。请注意到一个问题,上图与zookeeper集群有联系的只有kafka集群和...原创 2019-06-24 17:29:26 · 279 阅读 · 0 评论 -
Spark Streaming消费Kafka消息的两种方式
一、Receiver方式 Receiver方式,消息的offset存储在zookeeper。由Receiver维护,Receiver所扮演的角色是数据接收器。数据从Kafka传到Receiver中,Receiver将数据存储在内存或者磁盘,然后记录在容错日志文件系统中,同时将消息的offset更新到zookeeper中,元数据信息传给Driver。其使用的是Kafka高阶AP...原创 2019-10-10 17:20:34 · 1818 阅读 · 2 评论