Kafka
HoldBelief
这个作者很懒,什么都没留下…
展开
-
Kafka简介
Kafka简介1Kafka定义 Apache Kafka是一个高吞吐的集发布与订阅与一体的分布式消息系统 流式处理的数据源是kafka,批处理的数据源是hive,也就是hdfs;2消息队列常见的场景 1.系统之间的解耦合 -queue模型 -publish-subscribe模型 2.峰值压力缓冲,如果高峰期日志大量到SparkSreaming,...原创 2018-03-09 22:22:19 · 1253 阅读 · 0 评论 -
Kafka集群搭建
Kafka集群搭建集群规划 faith-openSUSEfaith-Kylinfaith-Mintzkzk1√ zk2 √ zk3 √Kafkabroker1√ broker2 √ broker3 √Kafka版本与Spark兼容性如下图,要选择kafka_2.10-0.8.2.2,该版本与spark-1.6兼容,kafka_2.10-0.9.0.1与spark-1.6不兼容。修改配置br...原创 2018-03-09 22:25:23 · 286 阅读 · 0 评论