排序:
默认
按更新时间
按访问量

flume 启动不输出运行日志

问题以前碰到的一个问题,算是一个小问题,flume 用命令./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console启...

2017-10-24 09:33:38

阅读数:1812

评论数:0

flume 自定义开发HttpSink

由于业务需求flume 读取数据,然后直接发送到应用系统。所以只好自己开发了一个 Http Sink 进行发送数据,将接收的数据发送到应用系统的restful API。 好了废话不多说,上代码。发送Http请求我使用 okHttp ,代码如下:这里写代码片

2017-03-17 00:02:02

阅读数:1887

评论数:4

windows 部署 flume 1.7.0

由于开发的taildirsource 不仅要支持 多文件监控 断点续传,还要支持windows 平台。所以今天我就苦逼的在 windows 上部署flume 了1.下载安装包windows部署 flume 肯定需要 flume 包吧,所以第一步就是下载安装包。安装包为:apache-flume-1...

2017-03-16 22:27:45

阅读数:2092

评论数:2

flume1.7.0-taildirSource 支持多文件监控和断点续传

flume 1.7.0 推出了 taildirSource 组件。tail 监控 目录下匹配上正则表达式的 的所有文件,实现断点续传。问题但是官方的 taildirSource 组件貌似是支持nginx 日志,对于log4j 日志好像不太管用。 因为log4j 日志会自动切分,log4j 切分日...

2017-03-15 23:38:56

阅读数:4947

评论数:4

flume 1.7.0-taildirSource 支持 windows系统

Flume-ng 1.7.0 中增加了TaildirSource,可以监控目录中文件的变化自动读取文件内容。 不过实际应用时发现几个问题:1,不支持windows系统。 2,windows下会影响 log4j 日志文件的切分,会使log4j日志不切分一直增大,flume停了才会 切分日志。不支...

2017-03-15 22:04:15

阅读数:1371

评论数:4

本机idea远程调试flume

最近又要自定义开发flume source 插件,每次插件打包后运行,不能再编译器里debug 感觉好苦恼。于是今天就看了一下flume 的远程调试。一看感觉挺简单的。所以就分享一下。远程调试flume其实就四步,第一步开启flume的远程调试,第二步拉取flume 源码导入到idea中。第三步在...

2017-03-06 22:41:42

阅读数:1995

评论数:5

flume 数据存入mysql(二)对敏感信息加密

前面写了flume 将数据存入mysql,但是有个问题,就是配置文件中暴露了我的mysql 的地址和帐号密码。这个是很危险的事情。所以这里就对mysql 的配置信息进行简单加密处理。加密我才用 base64 进行了加密处理,因为我怕麻烦所以就随便搞搞就好了。正常内容加密的话,用aes+base64...

2017-01-12 19:12:20

阅读数:754

评论数:0

flume自定义组件的 jar 包管理

自定义flume 组建后,将项目打成jar 包,关于这个jar 包的管理和使用我在这里列举了三中方式。这三种方式都可以,随自己喜好使用。1. lib 目录将maven项目打成jar包,将jar 包放到flume的lib 目录下。此方法简单粗暴,缺点就是jar 包不易管理2. 官方给定目录官方建议...

2017-01-11 23:00:31

阅读数:2227

评论数:0

flume 的source 、channel和sink 多种组合

乐高积木flumeflume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。1.多sinkchannel 的内容只输出一次,同一个event 如果sink1 输出,sink2 不输出;如果sink1 输出,sink1 不输出...

2017-01-11 22:51:15

阅读数:2630

评论数:0

flume 的官方正则过滤器

本文内容:前两天在弄flume的正则过滤器,因为日志截取原因,自定义写了一个。今天就说一下官方的正则过滤器。官方的正则过滤器用来过滤被正则匹配的日志。1.excludeEvents属性当 excludeEvents 属性值为 true 则把正则匹配到的日志 过滤掉,不读取到channel,通过...

2017-01-11 18:21:39

阅读数:2355

评论数:0

flume 的kafka sink及 taill 命令

a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.shell = /bin/bash -c a1.sources...

2017-01-11 09:53:16

阅读数:893

评论数:0

flume 自定义正则过滤器

本文实现:flume 读取日志信息时,通过正则匹配过滤,将匹配到的结果存放在指定文件目录。本文结构: 1. 编写自定义过滤器 2. 编写flume配置文件 3. 运行测试日志信息过滤前:2017-01-06T11:32:48: Debug: D-UNK-000-000: Rules file...

2017-01-08 01:14:07

阅读数:1878

评论数:0

flume 读取数据存入mysql(一)

本文需求是用flume 监控文件,然后将文件的内容存放在数据库中。本文结构1.mysql 表设计2. MysqlSink编写3.conf 配置4. 打包测试1.mysql 表设计首先声明本文的event ,本文的event内容 是”exec taili,yang”,exectaili , yang...

2017-01-05 22:42:11

阅读数:4921

评论数:13

flume 的安装和入门小例子

本文结构 我的环境 CentOS 7 flume 安装与启动 flume 的avro小例子 Spool 的小例子 Syslogtcp 小例子 1. flume 安装与启动1.1 下载安装包访问官网传送门,不信你不点下载apache-flume-1.7.0-bin.tar.gz 安装包。 并在合...

2017-01-04 22:58:34

阅读数:2368

评论数:0

flume启动No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor)

flume 安装成功后启动可能会遇到如下异常。问题:log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor). log4j:WARN Please initi...

2017-01-04 22:18:16

阅读数:3078

评论数:0

flume 入门初识

1. 介绍Flume 是 Cloudera 提供的日志收集系统,具有分布式、高可靠、 高可用性等特点,对海量日志采集、聚合和传输,Flume 支持在日志 系统中定制各类数据发送方,同时,Flume 提供对数据进行简单处理, 并写到各种数据接受方的能力。Flume 使用 java 编写,其需要运行在...

2016-10-30 00:09:40

阅读数:657

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭