----------------------------------------------------------KafKa环境的搭建-------------------------------------
1.需要安装JDK1.8以上
2.安装zk集群
3.安装kafka
4.核心配置文件:
consumer.properties #配置消费者属性
producer.properties # 生产者属性
server.properties #服务broker消息
zookeeper.properties #zk属性
5.配置:
vi server.properties #服务broker消息
broker.id=0 (kafka节点ID,必须是唯一)
# mkdir /home/hadoop/kafka_2.11_0.9/logdir
log.dirs=/home/hadoop/apps/kafka_2.11_0.9/logdir (kafka日志存放目录)
log.retention.hours=168 (消息保存最长的时间)
log.segment.bytes=1073741824 (每一个segment文件的大小,默认是1G,可以更改)
zookeeper.connect=bigdata:2181,bigdata1:2181,bigdata:2181 (kafka 连接zk的信息,必须配置)
delete.topic.enable=true (kafka 的topic是否物理删除,true-物理删除,false-逻辑删除)
host.name=bigdata (各个kafka节点的主机名)
#无注释版:
broker.id=0
log.dirs=/home/hadoop/apps/kafka_2.11_0.9/logdir
log.retention.hours=168
log.segment.bytes=1073741824
zookeeper.connect=bigdata:2181,bigdata1:2181,bigdata2:2181
delete.topic.enable=true
host.name=bigdata
6.配置完成,将kafka框架发送到其他节点
scp -r kafka_2.11_0.9 hadoop@bigdata1:/home/hadoop/apps
scp -r kafka_2.11_0.9 hadoop@bigdata2:/home/hadoop/apps
发送完成之后,修改每个节点上的broker.id为唯一值!!host.name为当前节点的主机名!!!
hdp-qm-06:
vi server.properties
broker.id=6
host.name=hdp-qm-06
hdp-qm-0:
vi server.properties
broker.id=7
host.name=hdp-qm-07
7.修改环境变量:
export KAFKA_HOME=/home/hadoop/apps/kafka_2.11_0.9
:$KAFKA_HOME/bin
8.发送环境变量配置文件到其他节点:
sudo scp /etc/profile root@bigdata1:/etc/
sudo scp /etc/profile root@bigdata2:/etc/
---------------------------启动KafKa------------------------
9.启动Kafka环境:
1.启动zk集群
2.启动Kafka:
方式一: 前台线程启动方式启动kafka
kafka-server-start.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties
方式二:后台守护进程方式启动:
分别在三台服务器上执行
nohup kafka-server-start.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties &
10.到三台服务器上jps查看:是否有Kafka
---------------------------关闭KafKa------------------------
11.关闭kafka
后台守护进程方式关闭
nohup kafka-server-stop.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties &