daerzei的专栏

Java, Linux, Spark, Hadoop, HBase, Hive, Solr, Python, Scala

Centos安装配置kafka1.0.0

前言

  • Linux系统:Centos6.9
  • kafka版本:1.0.0
  • Scala版本:2.11.8
  • JDK 版本:1.8.0.91
  • 下载地址:http://kafka.apache.org/downloads
  • 安装包大约50MB
    kafka已经忘了装过多少遍了,来一个项目装一次,来一个项目装一次,从0.8一直装 到1.0这里记录一下吧

第一步:下载安装包到Linux

wget http://mirrors.shu.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

kafka_2.11-1.0.0.tgz中2.11表示Scala的版本

第二步:解压

# 添加可执行权限
chmod u+x kafka_2.11-1.0.0.tgz

# 解压
tar -zxf kafka_2.11-1.0.0.tgz -C /opt/modules/

我习惯给应用程序添加一个软链接指向kafka安装的根目录,这样以后如果升级的话直接修改软链接的指向就可以了。

ln -s /opt/modules/kafka_2.11-1.0.0/ /opt/shortcut/kafka

这样后面我们直接访问/opt/shortcut/kafka目录就可以了

第三步:添加环境变量(可选,用起来方便)

注意我这是直接在root用户下执行的

vim /etc/profile

# 添加以下内容
export KAFKA_HOME=/opt/shortcut/kafka
export PATH=$KAFKA_HOME/bin:$PATH

# 重新加载配置文件
source /etc/profile

kafka配置环境变量

第四步:关于Zookeeper

Kafka因为依赖与ZooKeeper,所以需要首先启动ZooKeeper。
如果没有安装ZooKeeper,则可以使用内置的单节点ZooKeeper实例,具体怎么安装,怎么启动不在讨论之列。
我这里CDH集群已经安装的有Zookeeper了,不用再安装了,也不用再启动了。

第五步:修改kafka配置文件

配置文件位置${KAFKA_HOME}/config/server.properties

# 集群中的唯一ID
broker.id=2

# 日志地址
log.dirs=/opt/shortcut/kafka/logs

# Zookeeper连接地址
zookeeper.connect=cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181

其中cm01.spark.com,cm02.spark.com,cm03.spark.com是我已经部署好的CDH集群中的Zookeeper节点

第六步:测试

启动kafka

bin/kafka-server-start.sh config/server.properties

启动后打印的日志很长的,这里就不截图了,其实你是可以跑后台任务的,但是因为是第一次启动,还是跑前台的好,后台任务wgwy

nohup bin/kafka-server-start.sh config/server.properties &

打开2个终端,分别在Kafaka根目录执行以下命令:
启动Producer(生产者):

bin/kafka-console-producer.sh --broker-list cm02.spark.com:9092 --topic test

kafka启动生产者

启动Consumer(消费者):

bin/kafka-console-consumer.sh --zookeepercm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181--topic test --from-beginning

kafka启动消费者

OK,至此部署完成

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/daerzei/article/details/79964410
文章标签: kafka Centos Linux
个人分类: 大数据
想对作者说点什么? 我来说一句

centos 安装配置

2011年06月26日 2.62MB 下载

Centos 6安装配置图解

2011年10月11日 879KB 下载

CentOS下安装配置Oracle10g指南.doc

2011年03月26日 45KB 下载

Centos下Qt的安装配置所需文件

2011年12月08日 7.37MB 下载

centos安装配置

2012年02月03日 71KB 下载

centos 5下 LAMP 的安装配置

2008年09月27日 38KB 下载

mysql集群安装配置

2014年07月29日 55KB 下载

没有更多推荐了,返回首页

不良信息举报

Centos安装配置kafka1.0.0

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭