Kafka安装部署

原创 2016年05月31日 17:34:49

系统环境

组件 版本
CentOS 6.5 64x
zookeeper 3.4.5
kafka 2.10-0.8.1.1

单节点安装

下载kafka并且解压

tar zxvf kafka_2.10-0.8.1.1.tar.gz 
cd kafka_2.10-0.8.1.1/

启动kafka默认配置

bin/zookeeper-server-start.sh config/zookeeper.properties

bin/kafka-server-start.sh config/server.properties

创建 topic 名为 “test”

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

#列出 topic 
./bin/kafka-topics.sh --list --zookeeper localhost:2181

创建客户端

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

创建消费端

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

集群配置

修改server-1.properties中的参数

cp config/server.properties config/server-1.properties

主要修改内容

broker.id=0
log.dirs=/home/hadoop/development/src/kafka_2.10-0.8.1.1/logs
zookeeper.connect=canbot130:2181,canbot131:2181,canbot132:2181

修改完成后 copy 到其他节点

scp -r ./kafka_2.10-0.8.1.1/ hadoop@canbot131:/home/hadoop/development/src/
scp -r ./kafka_2.10-0.8.1.1/ hadoop@canbot132:/home/hadoop/development/src/

copy完以后需要修改再修改 server-1.properties 中的 broker.id

broker.id=0 192.169.2.130
broker.id=1 192.169.2.131
broker.id=2 192.169.2.132

启动Kafka

分别在canbot130/1/2三个节点都启动

./kafka_2.10-0.8.1.1/bin/kafka-server-start.sh ./kafka_2.10-0.8.1.1/config/server-1.properties &

创建集群 Topic

[hadoop@canbot130 kafka_2.10-0.8.1.1]$./bin/kafka-topics.sh --create --zookeeper canbot130:2181 --replication-factor 3 --partitions 1 --topic test

提示以下内容表示创建Topic 成功

Created topic "test".

查看 Topic 列表

[hadoop@canbot130 kafka_2.10-0.8.1.1]$ ./bin/kafka-topics.sh --list --zookeeper canbot130:2181
test
[hadoop@canbot130 kafka_2.10-0.8.1.1]$ 

创建生产者

./bin/kafka-console-consumer.sh --zookeeper canbot130:2181 --topic test

使用该命令创建生产者,然后将在canbot132节点上创建 消费者,查看消息是否被消费

创建消费者

在 canbot132 节点上执行

./bin/kafka-console-consumer.sh --zookeeper canbot130:2181 --topic test

生产消息==>消费消息

在canbot130节点上的生产者

[hadoop@canbot130 kafka_2.10-0.8.1.1]$ ./bin/kafka-console-producer.sh --broker-list canbot130:9092 --topic test
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
"holl"
[2016-05-31 04:27:30,770] INFO Closing socket connection to /192.168.2.130. (kafka.network.Processor)
"hao xiang shi tong bu l haha"
"test kafka"

在canbot132节点上的消费者所产生的信息

[hadoop@canbot132 kafka_2.10-0.8.1.1]$ ./bin/kafka-console-consumer.sh --zookeeper canbot130:2181 --topic test
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
[2016-05-31 04:27:22,328] INFO Closing socket connection to /192.168.2.132. (kafka.network.Processor)
holl
hao xiang shi tong bu l haha
test kafka

错误记录

错误一

java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/1. This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker and restarted it faster than the zookeeper timeout so it appears to be re-registering.
        at kafka.utils.ZkUtils$.registerBrokerInZk(ZkUtils.scala:205)
        at kafka.server.KafkaHealthcheck.register(KafkaHealthcheck.scala:57)
        at kafka.server.KafkaHealthcheck.startup(KafkaHealthcheck.scala:44)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:103)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:34)
        at kafka.Kafka$.main(Kafka.scala:46)
        at kafka.Kafka.main(Kafka.scala)

解决方法:该错误是由于server.properties 中的broker.id 重复

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

It is probably not running zookeeper节点启动失败

解决方法: 查看进程 ps aux | grep zookeeper 如图所示,zk进程有两个,kz2181端口被占用。 杀掉这两个进程,重启解决 该错误会导致:kafka brok...

使用zookeeper获取brokers的信息

使用zookeeper获取brokers的信息Table of Contents1. 在ArchLinux上安装libzookeeper2. include 头文件3. 现在编写代码4. 运行程序5....

JedisConnectionException: java.net.SocketException: Broken pipe

问题:redis一台,内存15g,32个现成共同操作redis,

jaxb Element下怎么设置多个同名的子Element

 如   xxxx  xxxx @XmlRootElement(name = "Body") public class ResultNofityBod...

Kafka学习笔记-基本概念与安装部署

Kafka是Linkedin开源的消息系统,它主要用于日志处理的分布式消息队列,处理活跃的流式数据。活跃的流式数据在网站应用中非常常见,这些数据包括网站的pv、用户行为(登录、浏览、点击、分享、喜欢等...

kafka安装部署

一、下载解压二、配置配置config/server.properties 配置broker.id从0开始,后面的节点配置1,2,3,4等 事先启动zookeeper集群,这里配置zooke...

生产环境实战spark (11)分布式集群 5台设备 Zookeeper集群、Kafka集群安装部署

生产环境实战spark (11)分布式集群 5台设备  Zookeeper集群、Kafka集群安装部署1,zookeeper的下载地址http://www.apache.org/dyn/closer....

storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署

1、安装Zookeeper由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群 2、解压storm安装包在master机器...

新版flume+kafka+storm安装部署

Rational Rose是Rational公司出品的一种面向对象的统一建模语言的可视化建模工具。用于可视化建模和公司级水平软件应用的组件构造。        Rational Rose 是一个完全的...

新版flume+kafka+storm安装部署

去年写了篇flume+kafka+storm的文章,最近重新回顾发现改动挺大的,就重新整理这篇文章。希望能帮上大家。架构图、组件介绍就不重复了,这篇文章重点将如何安装部署。需要源码的请留言。 顺便打个...
  • va_key
  • va_key
  • 2015年08月27日 16:43
  • 3335
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka安装部署
举报原因:
原因补充:

(最多只允许输入30个字)