Flume常用命令及基本操作（附案例）

flume 分成三大类组件：

1. source 组件，指定数据源
2. channel 组件，作为一个缓存，连接 source 和 sink
3. sink 组件，指定数据目的地

案例1：使用 flume 采集来自 44444 端口发来的数据

1、准备配置

# 声明三种组件 a1 = agent1
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# 定义source信息
# r1类型，监听什么样的数据
a1.sources.r1.type = netcat
# 监听ip
a1.sources.r1.bind = 192.168.88.161
# 端口号
a1.sources.r1.port = 44444
# r1连接到c1
a1.sources.r1.channels = c1

# 定义channel信息
a1.channels.c1.type = memory

# 定义sink信息
# 设定类型 在终端中打印
a1.sinks.k1.type = logger
# 连接到哪个channel
a1.sinks.k1.channel = c1

2、写入配置

• 打开flume安装目录

  cd /export/server/apache-flume-1.9.0-bin/conf

• 创建一个配置文件

  touch intro_source_netcat_sink_logger.conf

• 把上方配置写入到文件（记得把中文注释删掉）

  vim intro_source_netcat_sink_logger.conf

3、启动 Flume

flume-ng agent -f /export/server/apache-flume-1.9.0-bin/conf/intro_source_netcat_sink_logger.conf -n a1 -Dflume.root.logger=INFO,console

4、向 44444 端口发送数据

# 安装telnet
yum install telnet

# 向44444端口发送数据
telnet 192.168.88.161 44444

---

案例2：使用flume采集来自kafka的数据

1、准备配置

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile =  /export/data/momo_data/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 =  /export/data/momo_data/MOMO_DATA.dat

a1.channels.c1.type = memory

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers=node1:9092,node2:9092,node3:9092
a1.sinks.k1.kafka.topic=MOMO_MSG
a1.sinks.k1.channel=c1

2、写入配置

• 1. 打开 flume 安装目录

  cd /export/server/apache-flume-1.9.0-bin/conf

• 2. 创建一个配置文件

  touch intro_source_netcat_sink_logger.conf

• 3. 把上方配置写入到文件（记得把中文注释删掉）

  vim intro_source_netcat_sink_logger.conf

3、使用flume采集来自kafka的数据

• 1. 启动 kafka

  nohup kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties&

• 2. 创建 topics

  kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic MOMO_MSG --partitions 3 --replication-factor 2

• 3. 启动 flume

  flume-ng agent -f /export/server/apache-flume-1.9.0-bin/conf/source_taildir_sink_kafka.conf -n a1 -Dflume.root.logger=INFO,console

• 4. 启动kafka消费者 通过这个消费者检查数据确实写入到这个 MOMO_MSG

  kafka-console-consumer.sh --bootstrap-server node1.itcast.cn:9092 --topic MOMO_MSG

• 5. 启动生产数据 jar

  cd /export/data/momo_init/
  java -jar MoMo_DataGen.jar MoMo_Data.xlsx /export/data/momo_data/ 1000