Flume监听端口并存入Kafka

第一步：编写flume的配置文件ListenPort.conf 文件

用来监听本地的55555端口，并将数据存入kafka中

# Name the components on this agent
# 分别给agent中组件定义别名
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# Describe/configure the source
# 配置接收方法、地址和端口号
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 55555
 
# Describe the sink
# 定义sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = port-test
a1.sinks.k1.kafka.bootstrap.servers = master:9092,slave1:9092,slave2:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy


# Use a channel which buffers events in memory
# 定义channel类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
# Bind the source and sink to the channel
# 把source和sink用channel连接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第二步：进入flume的目录下输入命令，开启flume采集

开启命令
./bin/flume-ng agent -c conf/ -n a1 -f job/listenPort.conf -Dflume.root.logger=INFO,console

成功开启如图所示！

第三步：开启监听端口，发送数据

首先复制此会话窗口，检查虚拟机上是否安装telnet、telnet-server、xinetd

rpm -qa telnet-server
rpm -qa telnet
rpm -qa xietd

若没有安装，则执行以下命令（前提为虚拟机已经联网）

yum install telnet-server
yum install telnet
yum install xinetd

安装成功后，输入以下命令开启端口

 telnet localhost 55555

开启端口后，即为下图所示，成功发送数据

成功监听端口55555，将数据保存到kafka中，并使用Flink程序和开启kafka消费者消费
使用kafka命令大全 文章链接：kafka命令大全
关于 Flink消费Kafka消息 文章链接：Flink消费Kafka消息

注意：请务必按此教程顺序完成

如在开启端口时出现这种情况：
telnet localhost 55555 时 connect refused

原因

没有开启flume采集程序就开始监听端口
因为不开启就不会使用此端口，也就无法连接

解决方法

先启动 flume采集程序再telnet 进行连接