Centos安装配置kafka1.0.0

前言

• Linux系统：Centos6.9
• kafka版本：1.0.0
• Scala版本：2.11.8
• JDK 版本：1.8.0.91
• 下载地址：http://kafka.apache.org/downloads
• 安装包大约50MB
  kafka已经忘了装过多少遍了，来一个项目装一次，来一个项目装一次，从0.8一直装 到1.0这里记录一下吧

第一步：下载安装包到Linux

wget http://mirrors.shu.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

kafka_2.11-1.0.0.tgz中2.11表示Scala的版本

第二步：解压

# 添加可执行权限
chmod u+x kafka_2.11-1.0.0.tgz

# 解压
tar -zxf kafka_2.11-1.0.0.tgz -C /opt/modules/

我习惯给应用程序添加一个软链接指向kafka安装的根目录，这样以后如果升级的话直接修改软链接的指向就可以了。

ln -s /opt/modules/kafka_2.11-1.0.0/ /opt/shortcut/kafka

这样后面我们直接访问/opt/shortcut/kafka目录就可以了

第三步：添加环境变量（可选，用起来方便）

注意我这是直接在root用户下执行的

vim /etc/profile

# 添加以下内容
export KAFKA_HOME=/opt/shortcut/kafka
export PATH=$KAFKA_HOME/bin:$PATH

# 重新加载配置文件
source /etc/profile

第四步：关于Zookeeper

Kafka因为依赖与ZooKeeper，所以需要首先启动ZooKeeper。
如果没有安装ZooKeeper，则可以使用内置的单节点ZooKeeper实例，具体怎么安装，怎么启动不在讨论之列。
我这里CDH集群已经安装的有Zookeeper了，不用再安装了，也不用再启动了。

第五步：修改kafka配置文件

配置文件位置${KAFKA_HOME}/config/server.properties

# 集群中的唯一ID
broker.id=2

# 日志地址
log.dirs=/opt/shortcut/kafka/logs

# Zookeeper连接地址
zookeeper.connect=cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181

其中cm01.spark.com，cm02.spark.com，cm03.spark.com是我已经部署好的CDH集群中的Zookeeper节点

第六步：测试

启动kafka

bin/kafka-server-start.sh config/server.properties

启动后打印的日志很长的，这里就不截图了，其实你是可以跑后台任务的，但是因为是第一次启动，还是跑前台的好，后台任务wgwy

nohup bin/kafka-server-start.sh config/server.properties &

打开2个终端，分别在Kafaka根目录执行以下命令：
启动Producer（生产者）：

bin/kafka-console-producer.sh --broker-list cm02.spark.com:9092 --topic test

启动Consumer（消费者）：

bin/kafka-console-consumer.sh --zookeepercm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181--topic test --from-beginning

OK，至此部署完成