第一步:编写flume的配置文件ListenPort.conf 文件
用来监听本地的55555端口,并将数据存入kafka中
# Name the components on this agent
# 分别给agent中组件定义别名
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
# 配置接收方法、地址和端口号
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 55555
# Describe the sink
# 定义sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = port-test
a1.sinks.k1.kafka.bootstrap.servers = master:9092,slave1:9092,slave2:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy
# Use a channel which buffers events in memory
# 定义channel类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
# 把source和sink用channel连接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
第二步:进入flume的目录下输入命令,开启flume采集
开启命令
./bin/flume-ng agent -c conf/ -n a1 -f job/listenPort.conf -Dflume.root.logger=INFO,console
成功开启如图所示!
第三步:开启监听端口,发送数据
首先复制此会话窗口,检查虚拟机上是否安装telnet、telnet-server、xinetd
rpm -qa telnet-server
rpm -qa telnet
rpm -qa xietd
若没有安装,则执行以下命令(前提为虚拟机已经联网)
yum install telnet-server
yum install telnet
yum install xinetd
安装成功后,输入以下命令开启端口
telnet localhost 55555
开启端口后,即为下图所示,成功发送数据
成功监听端口55555,将数据保存到kafka中,并使用Flink程序和开启kafka消费者消费
使用kafka命令大全 文章链接:kafka命令大全
关于 Flink消费Kafka消息 文章链接:Flink消费Kafka消息
注意:请务必按此教程顺序完成
如在开启端口时出现这种情况:
telnet localhost 55555 时 connect refused
原因
没有开启flume采集程序就开始监听端口
因为不开启就不会使用此端口,也就无法连接
解决方法
先启动 flume采集程序再telnet 进行连接