kafka flume 相关操作

最新推荐文章于 2025-11-11 15:07:24 发布

原创最新推荐文章于 2025-11-11 15:07:24 发布 · 142 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flume

kafka 同时被 2 个专栏收录

1 篇文章

订阅专栏

flume

1 篇文章

订阅专栏

本文介绍了Kafka和Flume的相关操作。Kafka部分包含启动、新建topic、消费者、生产者，以及查看、删除topic等操作命令。Flume部分涉及开发sink打包放置、配置文件指定，开启端口监控，还介绍了source和channel的参数含义，如batchSize、capacity等。

kafka:
   启动kafka:
       ./kafka-server-start.sh -daemon ../config/server.properties &
   新建topic：
       ./kafka-topics.sh --create --zookeeper 172.16.17.212:2181 --replication-factor 2 --partitions 3 --topic ihyperdb8
   新建消费者：
       ./kafka-console-consumer.sh --bootstrap-server 172.16.17.212:9092 --topic ihyperdb8 --from-beginning
   新建生产者：
       ./kafka-console-producer.sh --broker-list 172.16.17.212:9092 --topic ihyperdb8
   list:
       ./kafka-topics.sh --list --zookeeper 172.16.17.212:2181
   查看：
       ./kafka-topics.sh --zookeeper 172.16.17.212:2181 --describe --topic ihyperdb8
   删除topic:
       ./kafka-topics.sh --delete --zookeeper 172.16.17.212:2181 --topic ihyperdb8

flume:
   开发sink打包后放到flume/lib目录下，配置文件指定自己开发的sink
   ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf -Dflume.root.logger=INFO,console


   开启http 1234 端口监控
   ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf --name collect -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=1234


   nohup ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf-10 -Dflume.root.logger=INFO,console &

   在sink中，channel的transactionCapacity参数不能小于sink的batchsize


   source:
       batchSize：这个参数当你采用的是 Exec Source 时，含义是一次读入channel的数据的行数，当你采用Spooling Directory Source含义是 Granularity（粒度） at which to batch transfer to the channel ，据我分析应该是events（flume最小处理数据单元）的数量

   channel:
       capacity : 存储在channel中的events的最大数量
       transactionCapacity ：每次数据由channel到sink传输的最大events的数量
       byteCapacity ：该channel的内存大小，单位是 byte 。


       capacity    100    存储在 Channel 当中的最大 events 数
       transactionCapacity    100    同时刻从Source 获取，或发送到 Sink 的最大 events 数