Qt中用thrift验证flume

草上爬

已于 2023-01-17 12:55:17 修改

阅读量3.1k

点赞数 3

分类专栏： Qt工作笔记文章标签： qt flume thrift 日志收集

于 2022-12-31 09:25:45 首次发布

本文链接：https://blog.csdn.net/caoshangpa/article/details/128502780

版权

Qt工作笔记专栏收录该内容

176 篇文章 134 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flume的基本概念，包括其Source、Channel和Sink组件。在Windows环境下部署Flume 1.9.0，配置Thrift Source和Sink，详细说明了遇到的错误及解决方法。通过修改thrift接口文件，创建Qt的Thrift_Client和Thrift_Server，成功验证了Flume通过Thrift进行日志传输的功能。

摘要由CSDN通过智能技术生成

一.flume简介

flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
在flume中分为了3个组件，分别为source，channel和sink。
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据。
Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。
flume支持的Source、Sink和Channel如下所示

Flume sources
☆Avro Source(常用于agent之间传递消息)
☆Exec Source(tail -f 文件，会重复消费)
☆Spooling Directory Source(文件夹变更)
☆Taildir Source(实时更新一组文件，不会重复消费)
☆Kafk