java的平凡之路

博客的文章都是平时学习或者遇到其他人写的不错的文章分享,也是做一个记录,希望大家喜欢...

Flume架构与源码分析-核心组件分析-1

首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口: public interface LifecycleAware { public void start(); public void stop(); public Lif...

2017-06-07 10:43:12

阅读数:193

评论数:0

Flume数据传输事务分析

本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级...

2017-06-07 10:10:41

阅读数:171

评论数:0

flume自定义source

package me;   import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random;   import org.apache.flume.Context...

2017-06-06 17:36:53

阅读数:593

评论数:0

Flume(ng) 自定义sink实现和属性注入

问题导读: 1.如何实现flume端自定一个sink,来按照我们的规则来保存日志? 2.想从flume的配置文件中获取rootPath的值,该如何配置? 最近需要利用flume来做收集远端日志,所以学习一些flume最基本的用法。这里仅作记录。 远端日志收集的整...

2017-06-06 17:36:07

阅读数:226

评论数:0

flume开发--自定义Sink

kafka可以通过自定义Sink的方式实现数据搜集并写入各种LOTP数据库,下面的例子是通过自定义Source实现数据写入分布式K-V数据库Aerospike. 1. 自定义Sink代码如下 [java] view plain copy pac...

2017-06-06 17:35:42

阅读数:221

评论数:0

flume开发-自定义拦截器(Interceptor)

拦截器是简单的插件式组件,设置在source和channel之间。source接收到的时间,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。flume官方实现了很多拦截器也可以自定义拦截器。通过实现自定义的拦截器可以对日志进行ETL。...

2017-06-06 17:21:13

阅读数:1053

评论数:0

flume学习:自定义拦截器

回想一下,spooldir source可以将文件名作为header中的key:basename写入到event的header当中去。试想一下,如果有一个拦截器可以拦截这个event,然后抽取header中这个key的值,将其拆分成3段,每一段都放入到header中,这样就可以实现那个需求了。 ...

2017-06-06 17:02:08

阅读数:200

评论数:0

Flume架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程:    从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行...

2017-03-27 10:27:27

阅读数:944

评论数:0

一组Logstash与elasticsearch的压测数据[转]

概述 组内的日志系统基于ELK搭建,本文中的数据在生产环境中进行测试得到,仅供参考。 系统构成 系统可以简要的分为: 日志接收机 日志数据队列 日志数据处理机 ES集群 在日志接收机上通过一个 Logstash 进程 parse 日志数据,将 parse...

2017-03-26 18:09:13

阅读数:226

评论数:0

Flume性能测试报告

1. 测试环境 1.1 硬件 CPU:Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz(8核)内存:16G 1.2 软件 Flume:1.6.0Hadoop:2.6.0-cdh5.5.0Kfaka:2.11-0.9.0.1JDK:1.8.0_91-b1...

2017-03-26 17:27:59

阅读数:884

评论数:0

flume日志采集

1.  Log4j Appender 1.1.  使用说明 1.1.2.  Client端Log4j配置文件 (黄色文字为需要配置的内容) log4j.rootLogger=INFO,A1,R     # ConsoleAppender out ...

2017-03-26 17:14:48

阅读数:854

评论数:0

scribe、chukwa、kafka、flume日志系统对比

1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;...

2017-03-25 09:39:15

阅读数:257

评论数:0

flume【源码分析】分析Flume的拦截器

有的时候希望通过Flume将读取的文件再细分存储,比如讲source的数据按照业务类型分开存储,具体一点比如类似:将source中web、wap、media等的内容分开存储;比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。   flume通过拦截器实现修改和丢弃事件的功能。...

2017-03-25 09:12:18

阅读数:218

评论数:0

flume 拦截器(interceptor)

摘要: 拦截器是简单的插件式组件,设置在source和channel之间。source接收到的时间,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器,并且会定期的添加一些拦截...

2017-03-25 09:11:46

阅读数:737

评论数:0

一组Logstash与elasticsearch的压测数据[转]

概述 组内的日志系统基于ELK搭建,本文中的数据在生产环境中进行测试得到,仅供参考。 系统构成 系统可以简要的分为: 日志接收机 日志数据队列 日志数据处理机 ES集群 在日志接收机上通过一个 Logstash 进程 parse 日志数据,将 p...

2017-03-24 22:13:38

阅读数:835

评论数:0

聊聊Flume和Logstash的那些事儿

在某个Logstash的场景下,我产生了为什么不能用Flume代替Logstash的疑问,因此查阅了不少材料在这里总结,大部分都是前人的工作经验下,加了一些我自己的思考在里面,希望对大家有帮助。 本文适合有一定大数据基础的读者朋友们阅读,但如果你没有技术基础,照样可以继续看(这就好比你看《葵...

2017-03-24 21:57:08

阅读数:10756

评论数:7

Flume中的拦截器(Interceptor)介绍与使用(二)

Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器: Timest...

2017-03-24 17:26:39

阅读数:340

评论数:0

Flume中的拦截器(Interceptor)介绍与使用(一)

Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器: Timest...

2017-03-24 17:25:35

阅读数:7680

评论数:0

利用Flume拦截器(interceptors)实现Kafka Sink的自定义规则多分区写入

我们目前的业务场景如下:前端的5台日志收集服务器产生网站日志,使用Flume实时收集日志,并将日志发送至Kafka,然后Kafka中的日志一方面可以导入到HDFS,另一方面供实时计算模块使用。 前面的文章《Kafka分区机制介绍与示例》介绍过Kafka的分区机制。我们对Kafka中存储日志的To...

2017-03-24 17:17:57

阅读数:2886

评论数:0

flume日志采集

1.  Log4j Appender 1.1.  使用说明 1.1.2.  Client端Log4j配置文件 (黄色文字为需要配置的内容) log4j.rootLogger=INFO,A1,R     # ConsoleAppender out ...

2017-02-14 15:13:21

阅读数:286

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭