![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
黄土高坡上的独孤前辈
010101010101010101010101010101
展开
-
时间戳转化工具类
public class DataUtil { private static final Logger logger = LoggerFactory.getLogger(DataUtil.class); private static final ThreadLocal<SimpleDateFormat> DATE_FORMAT= new ThreadLocal<SimpleDateFormat>() { @Override prot原创 2020-12-20 11:01:28 · 355 阅读 · 2 评论 -
Flume如何不同的业务日志重定向
文章目录1.修改flink conf下的log4j.properties2.日志重定向提交1.修改flink conf下的log4j.properties[root@kafka-251 conf]# pwd/flume/flume/conf[root@kafka-251 conf]# lsflume-conf.properties.template flume-env.ps1.template flume-env.sh log4j.propertiesvim log4j.properti原创 2020-12-18 15:56:29 · 146 阅读 · 1 评论 -
FLUME如何使TAILDIR SOURCE支持递归监控文件夹
文章目录1.flume的source选择1.1 TAILDIR Souce支持断点还原1.2 可配置文件组,里面使用正则表达式配置多个要监控的文件2. TAILDIR不能覆盖的场景3. 修改源代码,使得flume支持递归监控文件夹。3.1 flume taildir source源码结构3.2 TaildirSource 核心类解析3.2.1 start方法会使用建造者模式 构建创建一个ReliableTaildirEventReade3.2.2 【改源码重点】process方法3.3 修改源码3.3.原创 2020-10-26 21:01:37 · 1486 阅读 · 2 评论 -
监控Flume的log日志并钉钉告警
文章目录1.撰写监控脚本2.传入监控目录并crontab定时调度3.效果1.撰写监控脚本#!/bin/bashnow=`date '+%Y-%m-%d %H:%M:%S'`# 传入要遍历的目录root_dir="$1"# 初始化监控文件,通过getdir方法得到monitor_file=# 错误记录到mysqlfunction error_storage(){/usr/bin/mysql -uXXX -pxxx -h XXX -P 3306 -e \"use hadoop;原创 2020-09-08 15:04:36 · 570 阅读 · 0 评论 -
flume的日志聚集,sink容错和sink均衡案例
文章目录1.flume使用2.flume日志聚集2.1 官网介绍2.2 案例2.2.1 flume收集日志和TCP的数据,聚集后输出到控制台2.2.2 agent1配置2.2.3 agent2配置2.2.4 agent3配置2.2.5 测试3.flume的sink容错(故障转移)3.1 官网介绍3.2 案例3.2.1 flume收集日志fail over sink架构3.2.2 agent1配置3.2.3 agent2配置3.2.4 agent3配置3.2.5 测试4.flume sink的负载均衡4.1原创 2020-08-11 17:02:11 · 298 阅读 · 0 评论