安装包(Linux环境):
- zookeeper:zookeeper-3.3.6 .tar.gz
- kafka:kafka_2.11-0.10.1.0.tgz
安装:
- JDK:使用jdk1.8并配置环境变量
- 解压zookeeper和kafka到/home/kafka目录下
- 配置环境变量:在 /etc/profile 中添加如下配置 ,使得环境变量立即生效命令 source /etc/profile
配置zookeeper单机模式: - 配置zookeeper,在/zookeeper-3.3.6/conf下的复制zoo_sample.cfg为zoo.cfg,并将内容修改如下:
tickTime=2000
dataDir=/opt/zookeeper-3.4.6/data
clientPort=2181
- 配置完成在zookeeper/bin下,启动zookeeper
$ ./zkServer.sh start
JMX enabled by defaultUsing config: /opt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
- 启动后可以使用下面的命令查看服务状态,查看进程
$ ./zkServer.sh status //查看状态
JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: standalone
$ jps //查看进程
13786 QuorumPeerMain
- Zookeeper服务器启动后,使用Zookeeper的客户端来连接并测试
$ ./zkCli.sh
或
$ ./zkCli.sh -server IP(127.0.0.1或实际ip地址):2181
配置并启动kafka
1.进入/kafka_2.11-0.10.1.0/config目录,在server.properties中添加如下配置
broker.id=0
listeners = PLAINTEXT://实际IP:9092
log.dirs=/home/hadoop/kafka-logs
zookeeper.connect=实际IP:2181
zookeeper.connection.timeout.ms=60000
- 启动kafka
$ kafka-server-start.sh $KAFKA_HOME/config/server.properties
- 输入jps查看进程,如果可以看到Kafka进程,表示启动成功
[root@host-03 config]# jps
23600 Kafka
24193 ConsoleConsumer
13786 QuorumPeerMain
23946 ConsoleProducer
25036 Jps
[root@host-03 config]# jps -m
23600 Kafka /home/kafka_2.11-0.10.1.0/config/server.properties
24193 ConsoleConsumer --bootstrap-server IP:9092 --topic di62 --from-beginning
13786 QuorumPeerMain /home/kafka/zookeeper-3.3.6/bin/../conf/zoo.cfg
23946 ConsoleProducer --broker-list IP:9092 --topic di62
25051 Jps -m
- 创建topic:在kafka/bin目录下
./kafka-topics.sh --create --zookeeper IP地址:2181 --replication-factor 1 --partitions 1 --topic di62
参数说明:
–zookeeper:指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样
–replication-factor:指定副本数量
–partitions:指定分区数量
–topic:主题名称
- 查看topic
./kafka-topics.sh --list --zookeeper IP地址:2181
- 启动生成者
./kafka-console-producer.sh --broker-list IP地址:9092 --topic di62
7.启动消费者(新版本)
./kafka-console-consumer.sh --bootstrap-server 192.168.16.167:9092 --topic di62 --from-beginning
- 测试
生产者生产数据
消费者消费数据
启动一个消费者,去掉后面的参数–from-beginning,看有什么区别
总结:–from-beginning参数如果有表示从最开始消费数据,旧的和新的数据都会被消费,而没有该参数表示只会消费新产生的数据
安装包下载地址:链接: https://pan.baidu.com/s/1W1Fsqta4qxG7mHsqwZSH4A 提取码: uft8
不常在线,回复不及时,有问题可加微信讨论,微信号:li_994154714