在linux系统上配置并运行kafka

前提条件

一台搭建好包括但不限于jdk hadoop zookeeper等环境的虚拟机

解压并安装

tar -zxvf kafka_2.11-2.0.0.tgz -C /opt/
mv kafka_2.11-2.0.0/ kafka

修改/etc/profile，记得source

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

修改kafka下的配置文件

vi /opt/kafka/config/server.properties

第36行，把这里修改为本机IP地址

第123行，把zookeepr的链接指向本机（并且注意后面的端口要和zookeeper设置里的一致）

最后一行，添加这句话，允许我们删除topic

启动kafka

第一步：

先启动zkServer和hadoop，如下：

第二步：

kafka-server-start.sh /opt/config/server.properties

这样是通过读取设置好的.properties文件来启动kafka，但是不能后台运行，如果需要后台运行，请加上--daemon

kafka-server-start.sh -daemon /opt/server.properties

觉得server.properties文件路径太深可以创建软连接

ln -s /opt/kafka/config/server.properties server.properties

简易使用Kafka

查看topics

kafka-topics.sh --zookeeper 192.168.134.150:2181 --list

创建topics

kafka-topics.sh --create --zookeeper 192.168.134.150:2181 --topic kb09demo --partitions 1 --replication-factor 1
//partitions为分区数

topics详情

kafka-topics.sh --zookeeper localhost:2181 --describe

删除topics

kafka-topics.sh --zookeeper localhost:2181 --delete --topic kb09demo

查看topics里的具体数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.134.150:9092 --topic event_attendees_raw -time -1 --offsets 1

交互界面

在两个窗口上分别输入

kafka-console-producer.sh --topic kb09demo --broker-list localhost:9092
kafka-console-consumer.sh --topic kb09demo --bootstrap-server localhost:9092 --from-beginning