Flume
if 0 = -I can
那年我们还有梦
关于文学
关于爱情
关于穿越世界的旅行
如今我们深夜痛饮
杯子碰到一起
都是梦破碎的声音
展开
-
Open-Falcon 之自定义 Flume 监控
目录一、系统需求二、逻辑原理三、汇报字段四、监控告警设置五、Flume 监控脚本一、系统需求操作系统:Linux Python ≥ 2.6 python-requests二、逻辑原理通过 Flume 进程运行时暴露的 Http 接口获取Flume组件信息,通过 Python 解析组件信息,将得到的 json 数据格式的结果输出到标准输出。启动 flume agent 时添加java环境变量:-Dflume.monitoring.type=http -Dflume..原创 2020-06-16 11:09:08 · 340 阅读 · 0 评论 -
基于 Flume 的 Python 日志处理 METL 系统
一、Flume 日志收集系统1、一图了解 HIGO 新日志收集系统2、Flume 日志汇聚(Flume NG 之 HIGO 实际应用方案)Agent Hostname IP User Path Log Topic Agent00 yz-sre-wannx00.lehe.com 10.20.201.242 flume /home/flume/flumeng/ /usr/local/openresty/ng...原创 2020-06-03 18:30:45 · 592 阅读 · 0 评论 -
Flume NG 之线上实际应用方案
一、案例场景wannx00、wannx01、preonline01三台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log。监控日志实时采集新增的数据 把三台机器的日志采集汇总到一台机器上然后统一收集到 hdfs 或 kafka 中; 汇总机器需要自动故障转移,当主汇总机器挂了,自动通过另一台机器进行汇总; 添加指定拦截器,区分不同日志,定位到 hdfs 或 kafka 中自动耦合;二、场景分析三、故障转移四、集群架构...原创 2020-05-26 11:25:16 · 900 阅读 · 0 评论 -
Flume NG 配置参数说明
一、Flume 的可恢复性靠 Channel。推荐使用 FileChannel,事件持久化在本地文件系统里(性能较差)。二、Flume 架构1、Client生产数据,运行在一个独立线程。2、EventFlume 将数据表示成 Event,数据结构很简单,具有一个主题和一个报头的集合。事件的主题是一个字节数组,通常通过Flume 传送的负载。报头被称为一个 map,其中有字...原创 2020-04-27 10:55:57 · 1423 阅读 · 0 评论 -
分布式日志收集框架 Flume NG 实战案例
写在最前之应用场景:flume 在大数据中扮演着数据收集的角色,收集到数据以后再通过计算框架进行处理。flume 是 Cloudera 提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统,flume 支持在日志系统中定制各类数据发送方,用于收集数据;同时,flume 提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。Flume 作为 Hadoop 中的日志采集...原创 2020-04-16 15:48:43 · 1674 阅读 · 0 评论 -
分布式日志收集工具分析比较
写在最前:为什么做日志收集系统❓首先,什么是日志?日志就是程序产生的,遵循一定格式(通常包含时间戳)的文本数据。通常日志由服务器生成,输出到不同的文件中,一般会有系统日志、应用日志、安全日志。这些日志分散地存储在不同的机器上。当系统发生故障时,工程师就需要登录到各个服务器上,使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下,首...原创 2020-04-16 15:19:33 · 3990 阅读 · 1 评论