![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
我是60岁程序员
比你优秀的人还在奔跑,我为什么要停下来
展开
-
kafka最全组件详解
(1)producer:消息生产者,发布消息到 kafka 集群的终端或服务。(2)broker:kafka 集群中包含的服务器。(kafka实例)(3)topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。(4)partition:a)partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单...原创 2020-03-19 10:54:29 · 1967 阅读 · 0 评论 -
Kafka部署方式
单节点单Broker部署方式1.部署kafka要用到zookeper,所以要先装zookeeper2.安装zk解压之后,修改zoo.cfg的dataDir,由于tmp是临时目录,换个目录即可3.启动zk, ./zkServer.sh start4.安装Kafka =》0.9.0 版本 =》scala2.11 配置环境变量5.配置$KAFKA_HOME/config/server....原创 2018-10-11 17:34:04 · 437 阅读 · 0 评论 -
整合flume和kafka
技术选型:exec source + memory channel + avro sinkavro source + memory channel + kafka sink name:exec-memory-avro.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.source...原创 2018-10-11 17:40:36 · 105 阅读 · 0 评论 -
SparkStreaming整合Kafka--Receiver方式
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...原创 2018-10-12 17:50:12 · 205 阅读 · 0 评论 -
SparkStreaming整合Kafka--Direct方式
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/mave...原创 2018-10-12 17:52:54 · 323 阅读 · 0 评论