![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
tonry123
never give up!!!
展开
-
kafka原理
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Link...转载 2018-06-08 12:29:05 · 154 阅读 · 0 评论 -
kafka在spark中集群的配置
1.安装zk集群,必须先启动zk,然后才能启动kafka 2.config/server.properties(见该文件下的server.properties)添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181修改broker.id(唯一的):broker.id=0 # 各自的id不一样修改最后一行的ip为各自本机的ip 3...原创 2018-06-08 21:57:57 · 638 阅读 · 1 评论