flume通过thrift协议收集日志-Python

最新推荐文章于 2024-04-27 12:13:30 发布

wangshuwei5

最新推荐文章于 2024-04-27 12:13:30 发布

阅读量3.7k

点赞数

分类专栏： flume python 文章标签： flume python

本文链接：https://blog.csdn.net/wangshuwei5/article/details/48902757

版权

本文介绍了如何配置Flume以通过Thrift协议收集日志，包括Flume配置、安装flumelogger库，以及创建日志配置文件logger.conf。日志将分别写入不同的文件路径，并提供了简单的Python日志写入示例。

摘要由CSDN通过智能技术生成

flume配置thrift协议

collector-dev.sources.so.type = thrift
collector-dev.sources.so.bind = 0.0.0.0
collector-dev.sources.so.port = 6667
collector-dev.sources.so.channels = ch1 ch2

collector-dev.sources.so.selector.type = multiplexing
collector-dev.sources.so.selector.header = flag
collector-dev.sources.so.selector.mapping.test = ch2
collector-dev.sources.so.selector.default = ch1

collector-dev.channels.ch1.type = memory
collector-dev.channels.ch1capacity = 1000
collector-dev.channels.ch1.transationCapacity = 100

collector-dev.channels.ch2.type = memory
collector-dev.channels.ch2.capacity = 1000
collector-dev.channels.ch2.transationCapacity = 100

collector-dev.sinks.si1.channel = ch1
collector-dev.sinks.si2.type = file_roll
collector-dev.sinks.s