Centos安装配置kafka1.0.0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/daerzei/article/details/79964410

前言

  • Linux系统:Centos6.9
  • kafka版本:1.0.0
  • Scala版本:2.11.8
  • JDK 版本:1.8.0.91
  • 下载地址:http://kafka.apache.org/downloads
  • 安装包大约50MB
    kafka已经忘了装过多少遍了,来一个项目装一次,来一个项目装一次,从0.8一直装 到1.0这里记录一下吧

第一步:下载安装包到Linux

wget http://mirrors.shu.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

kafka_2.11-1.0.0.tgz中2.11表示Scala的版本

第二步:解压

# 添加可执行权限
chmod u+x kafka_2.11-1.0.0.tgz

# 解压
tar -zxf kafka_2.11-1.0.0.tgz -C /opt/modules/

我习惯给应用程序添加一个软链接指向kafka安装的根目录,这样以后如果升级的话直接修改软链接的指向就可以了。

ln -s /opt/modules/kafka_2.11-1.0.0/ /opt/shortcut/kafka

这样后面我们直接访问/opt/shortcut/kafka目录就可以了

第三步:添加环境变量(可选,用起来方便)

注意我这是直接在root用户下执行的

vim /etc/profile

# 添加以下内容
export KAFKA_HOME=/opt/shortcut/kafka
export PATH=$KAFKA_HOME/bin:$PATH

# 重新加载配置文件
source /etc/profile

kafka配置环境变量

第四步:关于Zookeeper

Kafka因为依赖与ZooKeeper,所以需要首先启动ZooKeeper。
如果没有安装ZooKeeper,则可以使用内置的单节点ZooKeeper实例,具体怎么安装,怎么启动不在讨论之列。
我这里CDH集群已经安装的有Zookeeper了,不用再安装了,也不用再启动了。

第五步:修改kafka配置文件

配置文件位置${KAFKA_HOME}/config/server.properties

# 集群中的唯一ID
broker.id=2

# 日志地址
log.dirs=/opt/shortcut/kafka/logs

# Zookeeper连接地址
zookeeper.connect=cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181

其中cm01.spark.comcm02.spark.com,cm03.spark.com是我已经部署好的CDH集群中的Zookeeper节点

第六步:测试

启动kafka

bin/kafka-server-start.sh config/server.properties

启动后打印的日志很长的,这里就不截图了,其实你是可以跑后台任务的,但是因为是第一次启动,还是跑前台的好,后台任务wgwy

nohup bin/kafka-server-start.sh config/server.properties &

打开2个终端,分别在Kafaka根目录执行以下命令:
启动Producer(生产者):

bin/kafka-console-producer.sh --broker-list cm02.spark.com:9092 --topic test

kafka启动生产者

启动Consumer(消费者):

bin/kafka-console-consumer.sh --zookeepercm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181--topic test --from-beginning

kafka启动消费者

OK,至此部署完成

阅读更多

没有更多推荐了,返回首页