![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
李思苇
终身程序媛。不忘初心,方得始终。
展开
-
Flume(NG)架构设计要点及配置实践
转自:时延军http://shiyanjun.cn/archives/915.htmlFlume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的转载 2017-09-22 21:11:36 · 262 阅读 · 0 评论 -
flume介绍与原理(一)
flume介绍与原理(一) 1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apac转载 2017-09-18 22:02:58 · 423 阅读 · 0 评论 -
Flume架构以及应用介绍
http://blog.csdn.net/a2011480169/article/details/51544664转载 2017-09-18 22:45:40 · 305 阅读 · 0 评论 -
flume netcat source 监听 44444 -记flume官方文档的简单例子
本文是对flume官方文档中的 一个简单的例子的实践和说明,官方例子 http://flume.apache.org/FlumeUserGuide.html#a-simple-exampleflume的netcat source会自动创建一个socket Server,只需将数据发送到此socket,flume的netcat source 就能获取数据。示例如下:1、先配置agent:在flume...原创 2017-09-19 17:32:16 · 3365 阅读 · 0 评论 -
flume User Guide翻译-logging raw data / plugin
flume User Guide Logging raw data/Pluginflume提供了记录原始event数据和配置信息的功能,当flume出了问题时,可以通过这些信息和数据很方便地排查和定位问题。flume默认是不记录这些数据和信息的,不过如果flume出问题,flume还是会给出提示信息的。需要说明的是在生产环境下不建议启用这个功能,因为可能会将原始数据中的敏感数据或者安全相关的配置信息也采集到flume日志中,这会导致不安翻译 2017-09-20 10:08:48 · 398 阅读 · 0 评论 -
flume spooling directory source API 配置项
首要注意,避免一个文件同时被读写(被其它程序编辑的同时,被flume读取) Property Name Default Description channels – type – The component type name, needs to be spooldir. spoolDir – The directory fr...原创 2018-05-18 15:29:30 · 1746 阅读 · 0 评论