1. 简介
kafka (官网地址: http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。
i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。
ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。
iii. producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。
iv. broker端不维护数据的消费状态,提升了性能。
v. 直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。
vi. Kafka使用scala编写,可以运行在JVM上。
2. 安装:
a. 首先安装JRE/JDK
Linux安装JDK
b. 下载kafka
进入下载页面: http://kafka.apache.org/downloads.html
选择Binary downloads下载 (Source download需要编译才能使用)
也可以直接在linux终端下载:
c. 解压
目录:
/bin 启动和停止命令等。
/config 配置文件
/libs 类库
d. 修改配置
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改 /bin/kafka-run-class.sh文件
找到如下行:
去除 -XX:+UseCompressedOops参数
3. 启动和停止
启动Zookeeper server:
&是为了能退出命令行
启动Kafka server:
停止Kafka server
停止Zookeeper server:
4. 单机连通性测试
运行producer:
早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181
运行consumer:
在producer端输入字符串并回车,查看consumer端是否显示。
5. 分布式连通性测试
Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为192.168.1.10
Consumer放在服务器server2上,ip地址为192.168.1.12。
分别运行server1的producer和server2的consumer,
在producer的console端输入字符串,consumer报 Connection refused错误:
broker, producer和consumer都注册到zookeeper上,producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上:
host名称没有指定,就是127.0.0.1,consumer去broker拿数据就有问题。设置为192.168.1.10,重启服务就好了。
kafka (官网地址: http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。
i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。
ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。
iii. producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。
iv. broker端不维护数据的消费状态,提升了性能。
v. 直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。
vi. Kafka使用scala编写,可以运行在JVM上。
2. 安装:
a. 首先安装JRE/JDK
Linux安装JDK
b. 下载kafka
进入下载页面: http://kafka.apache.org/downloads.html
选择Binary downloads下载 (Source download需要编译才能使用)
也可以直接在linux终端下载:
- wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz
c. 解压
- tar -xzvf kafka_2.8.0-0.8.1.tgz
- rm kafka_2.8.0-0.8.1.tgz
- cd kafka_2.8.0-0.8.1
目录:
/bin 启动和停止命令等。
/config 配置文件
/libs 类库
d. 修改配置
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改 /bin/kafka-run-class.sh文件
- vi bin/kafka-run-class.sh
找到如下行:
- KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去除 -XX:+UseCompressedOops参数
3. 启动和停止
启动Zookeeper server:
- bin/zookeeper-server-start.sh config/zookeeper.properties &
&是为了能退出命令行
启动Kafka server:
- bin/kafka-server-start.sh config/server.properties &
停止Kafka server
- bin/kafka-server-stop.sh
停止Zookeeper server:
- bin/zookeeper-server-stop.sh
4. 单机连通性测试
运行producer:
- bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181
运行consumer:
- bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer端输入字符串并回车,查看consumer端是否显示。
5. 分布式连通性测试
Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为192.168.1.10
Consumer放在服务器server2上,ip地址为192.168.1.12。
分别运行server1的producer和server2的consumer,
- bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test
- bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning
在producer的console端输入字符串,consumer报 Connection refused错误:
broker, producer和consumer都注册到zookeeper上,producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上:
- # Hostname the broker will bind to. If not set, the server will bind to all interfaces
- #host.name=localhost
host名称没有指定,就是127.0.0.1,consumer去broker拿数据就有问题。设置为192.168.1.10,重启服务就好了。
====================================================================================================
注意:配置的时候一定要把host.name这项打开,写上真是IP,所有的配置项最好都写真是IP,不要写localhost或者127.0.0.1容易出幺蛾子.
还有一个值得注意的问题是,按照上面的说的做,实际操作中发现,consumer消费消息的时候总是出错,我弄了一边又一遍,把zookeeper和kafka的版本换了又换弄了两天才发现需要在系统下配置点东西才行,具体错误就是
java.net.InetAddress.getLocalHost会抛出java.net.UnknownHostException异常.
之类的,Java异常,
解决办法:
在/etc/hosts 文件中添加如下(znskftc是主机名)
127.0.0.1 znskftc
==================================================================
多个broker时,shell版的producer应该链接哪个broker呢(producer和broker没有负载均衡,consumer和broker的负载均衡有zookeeper来负责)?
链接哪个broker都可以的(实测),但是建立topic的时候replication-factor后面的数字要不能小于broker的数目
bin/kafka-topics.sh --create --zookeeper 172.16.6.78:2181 --replication-factor 1 --partitions 1 --topic test
==================================================================
后记:
若果看了上面的博客搭建还是失败的话,建议看看下面这些视频
kafka 消息处理过程与集群维护:
http://www.jikexueyuan.com/course/2238.html
Kafka 核心源码剖析:
http://www.jikexueyuan.com/course/2362.html
Kafka 基础实战 :消费者和生产者实例:
http://www.jikexueyuan.com/course/2036.html
kafka的初认识
http://www.jikexueyuan.com/course/1716.html
http://www.jikexueyuan.com/course/2238.html
Kafka 核心源码剖析:
http://www.jikexueyuan.com/course/2362.html
Kafka 基础实战 :消费者和生产者实例:
http://www.jikexueyuan.com/course/2036.html
kafka的初认识
http://www.jikexueyuan.com/course/1716.html
kafka官方说明文档(英文版,网上大多博客都是翻译这篇文章的):
http://kafka.apache.org/documentation.html#quickstart