Kafka
Kafka安裝,内部結構介紹,簡單代碼
struggle@徐磊
知识重要,态度更重要!
展开
-
Kafka的两种连接方式
Kakfa的版本0.8.0 Receiver模式 (接收者模式) Driect模式 (直连模式)0.10.0 Driect模式(直连模式)spark 2.3之后(包括2.3) 已经把 0.8.0 版本低 Kadka淘汰了連接模式第一種、 Receiver模式 (接收者模式) spark 1.2的时候引进了 WAL(数据多的时候一部分存到 分布式...原创 2020-03-08 21:29:07 · 10965 阅读 · 0 评论 -
Kafka的Ack機制
三種機制性能遞減,可靠性遞增從flume往kafka上傳遞數據的時候,就需要設置這個ack數值原创 2020-02-08 18:13:49 · 196 阅读 · 0 评论 -
zookeeper在kafka中的作用
1、broker在zookeeper中注册原创 2020-02-08 14:10:34 · 192 阅读 · 0 评论 -
Kafka架構組成部分,kafaka特點(優點)
Kafka架構 partition :是物理概念:生產者會把數據分成不同的幾份,然後存到 partition 上topic : 是抽象概念,他是不同節點上partition的總和zookeeper :是存儲 kafka 元數據信息的,啓動kafka之前必須啓動zookeeper編輯 vi /usr/local/ kafka_2.11-1.0.1/config/server.prop...原创 2020-02-08 13:50:26 · 363 阅读 · 0 评论 -
Kafka集群的安装
Kafka的安装下载从http://kafka.apache.org/downloads.html下载kafka_2.11-1.0.1.tgz安装包1、解压安装包把安装包解压到指定目录tar –zxvf /root/ kafka_2.11-1.0.1 -C /usr/local/2、修改配置文件vi /usr/local/ kafka_2.11-1.0.1/conf...原创 2020-01-13 09:18:31 · 177 阅读 · 0 评论