博客专栏  >  运维   >  flume

flume

flume 从入门到实战

关注
4 已关注
16篇博文
  • flume 启动不输出运行日志

    问题以前碰到的一个问题,算是一个小问题,flume 用命令./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog...

    2017-10-24 09:33
    271
  • flume 自定义开发HttpSink

    由于业务需求flume 读取数据,然后直接发送到应用系统。所以只好自己开发了一个 Http Sink 进行发送数据,将接收的数据发送到应用系统的restful API。 好了废话不多说,上代码。发送...

    2017-03-17 00:02
    1070
  • flume 1.7.0-taildirSource 支持 windows系统

    Flume-ng 1.7.0 中增加了TaildirSource,可以监控目录中文件的变化自动读取文件内容。 不过实际应用时发现几个问题:1,不支持windows系统。 2,windows下会影响...

    2017-03-15 22:04
    978
  • flume1.7.0-taildirSource 支持多文件监控和断点续传

    flume 1.7.0 推出了 taildirSource 组件。tail 监控 目录下匹配上正则表达式的 的所有文件,实现断点续传。问题但是官方的 taildirSource 组件貌似是支持ngin...

    2017-03-15 23:38
    2582
  • windows 部署 flume 1.7.0

    由于开发的taildirsource 不仅要支持 多文件监控 断点续传,还要支持windows 平台。所以今天我就苦逼的在 windows 上部署flume 了1.下载安装包windows部署 flu...

    2017-03-16 22:27
    1430
  • flume 入门初识

    1. 介绍Flume 是 Cloudera 提供的日志收集系统,具有分布式、高可靠、 高可用性等特点,对海量日志采集、聚合和传输,Flume 支持在日志 系统中定制各类数据发送方,同时,Flume 提...

    2016-10-30 00:09
    462
  • flume启动No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor)

    flume 安装成功后启动可能会遇到如下异常。问题:log4j:WARN No appenders could be found for logger (org.apache.flume.lifecy...

    2017-01-04 22:18
    1984
  • flume 的安装和入门小例子

    本文结构 我的环境 CentOS 7 flume 安装与启动 flume 的avro小例子 Spool 的小例子 Syslogtcp 小例子 1. flume 安装与启动1.1 下载安装包访问官网传...

    2017-01-04 22:58
    1020
  • flume 读取数据存入mysql(一)

    本文需求是用flume 监控文件,然后将文件的内容存放在数据库中。本文结构1.mysql 表设计2. MysqlSink编写3.conf 配置4. 打包测试1.mysql 表设计首先声明本文的even...

    2017-01-05 22:42
    2764
  • flume 自定义正则过滤器

    本文实现:flume 读取日志信息时,通过正则匹配过滤,将匹配到的结果存放在指定文件目录。本文结构: 1. 编写自定义过滤器 2. 编写flume配置文件 3. 运行测试日志信息过滤前:2017...

    2017-01-08 01:14
    1231
  • flume 的kafka sink及 taill 命令

    a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = e...

    2017-01-11 09:53
    572
  • flume 的官方正则过滤器

    本文内容:前两天在弄flume的正则过滤器,因为日志截取原因,自定义写了一个。今天就说一下官方的正则过滤器。官方的正则过滤器用来过滤被正则匹配的日志。1.excludeEvents属性当 exclud...

    2017-01-11 18:21
    1396
  • flume 的source 、channel和sink 多种组合

    乐高积木flumeflume 有三大组件source 、channel和sink,各个组件之间都可以相互组合使用,各组件间耦合度低。使用灵活,方便。1.多sinkchannel 的内容只输出一次,同一...

    2017-01-11 22:51
    1177
  • flume自定义组件的 jar 包管理

    自定义flume 组建后,将项目打成jar 包,关于这个jar 包的管理和使用我在这里列举了三中方式。这三种方式都可以,随自己喜好使用。1. lib 目录将maven项目打成jar包,将jar 包放...

    2017-01-11 23:00
    1391
  • flume 数据存入mysql(二)对敏感信息加密

    前面写了flume 将数据存入mysql,但是有个问题,就是配置文件中暴露了我的mysql 的地址和帐号密码。这个是很危险的事情。所以这里就对mysql 的配置信息进行简单加密处理。加密我才用 bas...

    2017-01-12 19:12
    472
  • 本机idea远程调试flume

    最近又要自定义开发flume source 插件,每次插件打包后运行,不能再编译器里debug 感觉好苦恼。于是今天就看了一下flume 的远程调试。一看感觉挺简单的。所以就分享一下。远程调试flum...

    2017-03-06 22:41
    1289
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部