2015年01月_chiweitree

12月 11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

原创【Flume】【源码分析】深入flume-ng的三大组件——source，channel，sink

概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据channel负责暂存收集来的数据，以备下游取走消费sink负责消费通道中的数据，写到最终的输出端上以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：1、Sourcesource接口的定义如下：@Inte

2015-01-30 16:44:25 9529

原创【Flume】【源码分析】flume中http监控类型的源码分析，度量信息分析，以及flume的事件总线

在flume1.5.2中，如果想要通过http方式的监控来获取flume相关度量值，通过在启动脚本后添加如下内容即可：-Dflume.monitoring.type=http -Dflume.monitoring.port=34545监控-D的属性可以通过System.getProerties()直接获取得到，那么以上两个属性是通过方法loadMonitoring()来读取，该方法

2015-01-29 17:03:53 6303

原创【Flume】【源码分析】flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？

本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：a1.sinks.k1.type=hdfsa1.sinks.k1.channel=c1a1.sinks.k1.hdfs.useLocalTimeStamp=truea1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d

2015-01-28 16:28:41 8887 18

原创【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用

4台机器176.177.178,179176是resourcemanager177是namenode178是datanode，nodemanager179是datanode，nodemanager首先为了方便，4台机器之前全部建立ssh无密码登录，详见：http://blog.csdn.net/simonchi/article/details/39054437配好hos

2015-01-26 17:12:50 2600

原创【zookeeper】zookeeper单机和集群环境的搭建

首先去官网下载zookeeper安装包，本文采用3.4.6stable版本http://zookeeper.apache.org/doc/r3.4.6/tar命令解压后的目录结构如下：[root@com23 zookeeper-3.4.6]# lltotal 1612drwxr-xr-x 2 1000 1000 4096 Feb 20 2014 bin-rw

2015-01-22 14:45:30 3202

原创【Flume】【源码分析】从入口Application来分析Flume的启动过程

大家在启动flume的时候，输入的命令就可以看出flume的启动入口了[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1Info: Sourcing environment configuration script /home/flume/apache-flu

2015-01-21 16:45:43 7018 3

原创【Flume】【源码分析】flume中拦截器的源码分析，以TimestampInterceptor为例

本文将以TimestampInterceptor为例来分析一下flume中拦截器的工作原理首先来看下改拦截器的实现结构1、实现了Interceptor接口该接口的方法定义如下： public void initialize(); public Event intercept(Event event); public List intercept(List events);

2015-01-21 10:34:56 3073

原创【Flume】flume ng 1.5.2源码编译的问题

首先从flume官网去下载源码http://flume.apache.org/download.html下载完之后，解压，首先去除源码中hdfs和hadoop的test依赖apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml org.apache.hbase

2015-01-20 16:22:41 2889 12

原创【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用

首先下载安装，这个就不说了，去apache官网下载安装，貌似186M，很大解压后，我们看下目录结构如下：[root@com23 hadoop-2.6.0]# lltotal 64drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bindrwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 etcdrwxr-xr-

2015-01-14 15:58:09 2331

原创【Kafka】kafka环境搭建及使用

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.下面来看下如何简单的使用：

2015-01-14 10:37:47 3316

原创【Flume】【源码分析】flume中LoadBalancingSinkProcessor负载均衡实现机制的源码分析

基于上一篇文章http://blog.csdn.net/simonchi/article/details/42520193 相对比较细致的分析后，该文章将对LoadBalancingSinkProcessor源码进行选择性的重要逻辑代码进行讲解首先读取配置，当然是重写congifure方法public void configure(Context context) { P...

2015-01-12 17:26:19 2529 1

原创【Flume】【源码分析】flume中FailoverSinkProcessor容错处理机制源码分析

FailoverSinkProcessor顾名思义是flume中sink输出容错的处理器继承自AbstractSinkProcessor先看下整体源码/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the N

2015-01-08 10:33:13 2937

原创【Flume】 flume 负载均衡环境的搭建 load_balance

flume的负载均衡即每次按照一定的算法选择sink输出到指定地方，如果在文件输出量很大的情况下，负载均衡还是很有必要的，通过多个通道输出缓解输出压力flume内置的负载均衡的算法默认是round robin，轮询算法，按序选择下面看一下具体实例： # Name the components on this agenta1.sources = r1a1.sinks = k1 k2

2015-01-07 16:48:43 4239

原创【Flume】flume 容错环境的搭建 failover

关于failover网上也有很多例子，但是看到的有多重做法，个人觉得，本着职责单一的原则1、一台机子运行一个flume agent2、一个agent 的下游sink指向一个flume agent，不要一个flume agent配置多个端口【影响性能】下面看具体实例：首先是flumet agent client的配置priority越高，优先级越高，会优先使用该sink

2015-01-07 16:15:47 4417

原创【Flume】自定义sink kafka，并编译打包jar，unapproval license的问题解决

如图所示，新建一个JAVA工程，编辑pom文件，pom文件内容如下【这里取出了parent】：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/

2015-01-07 11:49:33 5245