Kafka 1.0.0的安装使用以及一些命令

最新推荐文章于 2019-07-24 12:00:18 发布

congtuo7221

最新推荐文章于 2019-07-24 12:00:18 发布

阅读量319

点赞数

文章标签：大数据


0.三台机器 data133,data135,data136
1.修改配置文件 server.properties 
	broker.id=1 #全局唯一
	log.dirs=/data/kafka/log #kafka存放数据的目录
	zookeeper.connect=data135:2181,data133:2181,data136:2181
	port=9092
	host.name=data136
	然后分发到另两台机器
	data133:broker.id=2 host.name=data133
	data135:broker.id=2 host.name=data135
	
2.后台
2.后台启动kafka server
	bin目录下 nohup ./kafka-server-start.sh  ../config/server.properties &
3.创建topic 
	./kafka-topics.sh --create  --topic  "test1"    --partitions 5  --replication-factor 1  --zookeeper data133
4.通过shell脚本生产消费
	生产：./kafka-console-producer.sh -topic test --broker-list data133:9092,data135:9092,data136:9092
	消费：./kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server data133:9092
5.显示所有的topic
	./kafka-topics.sh --list   --zookeeper bigdata03
	
---------------------------------------------------------------
flume整合kafka，flume的配置文件 kafka-dest.conf
# Name the components on this agent
a1.sources=sr1
a1.channels=ch1
a1.sinks=si1
# Describe/configure the source
a1.sources.sr1.type=exec
a1.sources.sr1.command=tail -F /home/ch.log
a1.sources.sr1.batchSize=50
# Describe the sink
a1.sinks.si1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.si1.kafka.bootstrap.servers=bigdata01:9092,bigdata02:9092,bigdata03:9092
a1.sinks.si1.kafka.topic=test7
a1.sinks.si1.flumeBatchSize=100
a1.sinks.si1.kafka.producer.acks=1
a1.sinks.si1.kafka.producer.partitioner.class=org.apache.kafka.clients.producer.internals.DefaultPartitioner
# Use a channel which buffers events in memory
a1.channels.ch1.type = memory
a1.channels.ch1.capacity = 1000000
a1.channels.ch1.transactionCapacity = 1000
a1.sources.sr1.channels=ch1
a1.sinks.si1.channel=ch1
#the command to start a agent
#bin/flume-ng agent -n a1 -c conf -f conf/fkafka-dest.conf

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31506529/viewspace-2214886/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31506529/viewspace-2214886/