kafka的搭建

最新推荐文章于 2024-07-31 19:36:42 发布

abothli

最新推荐文章于 2024-07-31 19:36:42 发布

阅读量157

点赞数

分类专栏： kafka

本文链接：https://blog.csdn.net/xiaolong_4_2/article/details/80886662

版权

kafka 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

export KAFKA_INSTALL=/home/hadoop/kafka/kafka_2.10-0.10.2.1
export PATH=$PATH:$KAFKA_INSTALL/bin

1、解压tar包   tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/hadoop/kafka/

2、创建软链接到kafka
ln -s kafka_2.10-0.10.2.1 kafka

3、开启kafka服务
cd /home/hadoop/kafka_2.10-0.10.2.1

nohup bin/kafka-server-start.sh config/server.properties &>/dev/null &

4、jps查看进程


kafka集群安装
1、解压tar包  tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/hadoop/kafka/

2、创建软链接

ln -s kafka_2.10-0.10.2.1 /home/hadoop/kafka/kafka

3、cd /home/hadoop/kafka/kafka_2.10-0.10.2.1/config

4、 vi server.properties
broker.id=0
zookeeper.connect=172.16.1.138:2181,172.16.1.139:2181,172.16.1.140:2181

zookeeper.connect=192.168.40.140:2181,192.168.40.141:2181,192.168.40.142:2181

5、scp -r /home/hadoop/kafka/kafka_2.10-0.10.2.1/ hd2:/home/hadoop/kafka

6、在各个节点上修改，只要各个节点的broker.id不一样就行了
vi server.properties
broker.id=1

如果启动报错，看下/tmp/kafka-logs/meta.properties文件的broker.id是否和自己配置的一样。
后台进程启动kafka
bin/kafka-server-start.sh /home/hadoop/kafka/kafka_2.10-0.10.2.1/config/server.properties &

console启动kafka
bin/kafka-server-start.sh /home/hadoop/kafka/kafka_2.10-0.10.2.1/config/server.properties ies

需要注意的问题：
修改broker.id,记得把log.dir的broker.id号要改为一样。

kafka实战

创建topic:test

bin/kafka-topics.sh --create --zookeeper 172.16.1.138 --replication-factor 1 --partitions 1 --topic testflume

列出已经创建的topic列表
bin/kafka-topics.sh --list --zookeeper hd1:2181

在kafka中删除名为test的topic
bin/kafka-topics.sh --delete --zookeeper hd1:2181 --topic test

模拟客户端发送消息
bin/kafka-console-producer.sh --broker-list hd1:9092 --topic kk

模拟客户端去接受消息
bin/kafka-console-consumer.sh --zookeeper hd1:2181 --topic testflume --from-beginning

在kafka中通过console启动一个生产者用来产生数据放入topic=test
bin/kafka-console-producer.sh --broker-list hd1:9092,hd2:9092,hd3:9092 --topic test

在kafka中通过console启动一个消费者用来消费来自topic=test里面的数据
bin/kafka-console-consumer.sh --zookeeper hd1:2181,hd2:2181,hd3:2181 --topic test --from-beginning


storm.zookeeper.servers:
  - "172.16.1.138"
  - "172.16.1.139"
  - "172.16.1.140"

  nimbus.host:"hd1"

  nimbus.childopts:"-Xmx1024m"

  supervisor.childopts:"-Xmx1024m"

  worker.childopts:"-Xmx768m"

  ui.childopts:"-Xmx768m"

  supervisor.slots.ports:
  - 6700
  - 6701
  - 6702
  - 6703

bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount

bin/kafka-console-consumer.sh --zookeeper hd1:2181 --topic testflume --from-beginning