flume-kafka端口号方式

flume-kafka端口号

• 启动zookeeper集群

  #在每一个节点上启动zookeeper
  /opt/apps/zookeeper/bin/zkServer.sh
  

• 启动kafka集群2

  #在每一个节点上启动kafka -daemon后台启动
  /opt/apps/kafka/bin/kafka-server-start.sh -daemon /opt/apps/kafka/config/server.properties
  

• 创建主题

  #--zookeeper 集群地址 -replication-factor 副本数 --partitions 分区数 --topic 追名称
  /opt/apps/kafka/bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 2 --topic test
  

• 采集端口号

  a1.sources=r1
  a1.sinks=k1
  a1.channels=c1
  
  
  ##############sources#############
  #数据源类型为netcat，也就是端口号
  a1.sources.r1.type=netcat
  #channels
  a1.sources.r1.channels=c1
  #主机名或者ip地址
  a1.sources.r1.bind=mini1
  #端口号
  a1.sources.r1.port=11111
  #每一行的最大长度，默认512
  a1.sources.r1.max-line-length=1024
  #是否进行应答
  a1.sources.r1.ack-every-even=true
  
  
  ##############channels#############
  #channel类型
  a1.channels.c1.type=memory
  #内存最大存储事件数
  a1.channels.c1.capacity=10000
  #sources每个事务存入的最大数，sink每次取到的最大数
  a1.channels.c1.transactionCapacity=1000
  #允许存储的最大字节数 128MB
  a1.channels.c1.byteCapacity=134217728
  #指定 Event header 所占空间大小与 channel 中所有 Event 的总大小之间的百分比
  a1.channels.c1.byteCapacityBufferPercentage=20
  #添加或删除一个event的超时时间
  a1.channels.c1.keep-alive=3
  
  
  ###############sinks##############
  #固定写法
  a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
  #channle
  a1.sinks.k1.channel=c1
  #主题
  a1.sinks.k1.kafka.topic=test
  #kafka集群地址
  a1.sinks.k1.kafka.bootstrap.servers=mini1:9092
  #每次取的最大数
  a1.sinks.k1.kafka.flumeBatchSize=1000
  #1 leader应答就可以了，副本不需要
  a1.sinks.k1.kafka.producer.acks=1
  #大于0，批量存储。
  a1.sinks.k1.kafka.producer.linger.ms=1
  
  

• 测试

  #创建消费者--bootstrap-server 集群地址   --topic主题名称
  /opt/apps/kafka/bin/kafka-console-consumer.sh --bootstrap-server mini1:9092 --topic test
  
  #启动flume采集
  flume-ng agent -n a1 -f /root/netcat-kafka.conf -Dflume.root.logger=INFO.console
  
  #nc命令测试
  nc mini1 11111
  
  

​