flume --最简单的几个配置

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

文章目录

• 前言
• 一、flume配置篇
  • 、1.写入配置数据

---

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

一、flume配置篇

hniu.sources=r1 r2
hniu.channels=c1
hniu.sinks=s1

hniu.sources.r1.type = netcat
hniu.sources.r1.bind = localhost
hniu.sources.r1.port = 5555

hniu.sources.r2.type=spooldir
hniu.sources.r2.spoolDir= /home/zy32
hniu.sources.r2.fileSuffix=mxt
hniu.sources.r2.includePattern=\\S*.(txt|json)
hniu.sources.r2.ignorePattern=\\S*.(mxt|tmp)
hniu.sources.r2.basenameHeader=true
hniu.sources.r2.basenameHeaderKey=name
hniu.sources.r2.recursiveDirectorySearch=true


hniu.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
hniu.channels.c1.kafka.bootstrap.servers = 192.168.15.32:9092
hniu.channels.c1.kafka.topic = one


hniu.sinks.s1.type=logger
hniu.sinks.s1.maxBytesToLog=1024


hniu.sources.r1.channels=c1
hniu.sources.r2.channels=c1
hniu.sinks.s1.channel=c1

目录

文章目录

前言

总结

---

1.写入配置数据

 

 

该处使用的url网络请求的数据。

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。