export KAFKA_INSTALL=/home/hadoop/kafka/kafka_2.10-0.10.2.1
export PATH=$PATH:$KAFKA_INSTALL/bin
1、解压tar包 tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/hadoop/kafka/
2、创建软链接到kafka
ln -s kafka_2.10-0.10.2.1 kafka
3、开启kafka服务
cd /home/hadoop/kafka_2.10-0.10.2.1
nohup bin/kafka-server-start.sh config/server.properties &>/dev/null &
4、jps查看进程
kafka集群安装
1、解压tar包 tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/hadoop/kafka/
2、创建软链接
ln -s kafka_2.10-0.10.2.1 /home/hadoop/kafka/kafka
3、cd /home/hadoop/kafka/kafka_2.10-0.10.2.1/config
4、 vi server.properties
broker.id=0
zookeeper.connect=172.16.1.138:2181,172.16.1.139:2181,172.16.1.140:2181
zookeeper.connect=192.168.40.140:2181,192.168.40.141:2181,192.168.40.142:2181
5、scp -r /home/hadoop/kafka/kafka_2.10-0.10.2.1/ hd2:/home/hadoop/kafka
6、在各个节点上修改,只要各个节点的broker.id不一样就行了
vi server.properties
broker.id=1
如果启动报错,看下/tmp/kafka-logs/meta.properties文件的broker.id是否和自己配置的一样。
后台进程启动kafka
bin/kafka-server-start.sh /home/hadoop/kafka/kafka_2.10-0.10.2.1/config/server.properties &
console启动kafka
bin/kafka-server-start.sh /home/hadoop/kafka/kafka_2.10-0.10.2.1/config/server.properties ies
需要注意的问题:
修改broker.id,记得把log.dir的broker.id号要改为一样。
kafka实战
创建topic:test
bin/kafka-topics.sh --create --zookeeper 172.16.1.138 --replication-factor 1 --partitions 1 --topic testflume
列出已经创建的topic列表
bin/kafka-topics.sh --list --zookeeper hd1:2181
在kafka中删除名为test的topic
bin/kafka-topics.sh --delete --zookeeper hd1:2181 --topic test
模拟客户端发送消息
bin/kafka-console-producer.sh --broker-list hd1:9092 --topic kk
模拟客户端去接受消息
bin/kafka-console-consumer.sh --zookeeper hd1:2181 --topic testflume --from-beginning
在kafka中通过console启动一个生产者用来产生数据放入topic=test
bin/kafka-console-producer.sh --broker-list hd1:9092,hd2:9092,hd3:9092 --topic test
在kafka中通过console启动一个消费者用来消费来自topic=test里面的数据
bin/kafka-console-consumer.sh --zookeeper hd1:2181,hd2:2181,hd3:2181 --topic test --from-beginning
storm.zookeeper.servers:
- "172.16.1.138"
- "172.16.1.139"
- "172.16.1.140"
nimbus.host:"hd1"
nimbus.childopts:"-Xmx1024m"
supervisor.childopts:"-Xmx1024m"
worker.childopts:"-Xmx768m"
ui.childopts:"-Xmx768m"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount
bin/kafka-console-consumer.sh --zookeeper hd1:2181 --topic testflume --from-beginning
kafka的搭建
最新推荐文章于 2024-09-05 11:48:50 发布