三也_攻城狮

Code the Craft,Craft the Code

【Flume】【源码分析】深入flume-ng的三大组件——source,channel,sink

概览 flume-ng中最重要的核心三大组件就是source,channel,sink source负责从源端收集数据 channel负责暂存收集来的数据,以备下游取走消费 sink负责消费通道中的数据,写到最终的输出端上 以上是总体的一个简单结构图,下面我们来深入每一个组件的内部看看: ...

2015-01-30 16:44:25

阅读数 7885

评论数 0

【Flume】【源码分析】flume中http监控类型的源码分析,度量信息分析,以及flume的事件总线

在flume1.5.2中,如果想要通过http方式的监控来获取flume相关度量值,通过在启动脚本后添加如下内容即可: -Dflume.monitoring.type=http -Dflume.monitoring.port=34545 监控 -D的属性可以通过System.getProerti...

2015-01-29 17:03:53

阅读数 5079

评论数 0

【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?

本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1.hdfs.useLocalTimeStamp=true a1.sinks.k1.hdfs.pat...

2015-01-28 16:28:41

阅读数 7389

评论数 18

【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用

4台机器 176.177.178,179 176是resourcemanager 177是namenode 178是datanode,nodemanager 179是datanode,nodemanager 首先为了方便,4台机器之前全部建立ssh无密码登录,详见:http://blog.csdn...

2015-01-26 17:12:50

阅读数 2145

评论数 0

【zookeeper】zookeeper单机和集群环境的搭建

首先去官网下载zookeeper安装包,本文采用3.4.6stable版本 http://zookeeper.apache.org/doc/r3.4.6/ tar命令解压后的目录结构如下: [root@com23 zookeeper-3.4.6]# ll total 1612 drwxr-x...

2015-01-22 14:45:30

阅读数 2636

评论数 0

【Flume】【源码分析】从入口Application来分析Flume的启动过程

大家在启动flume的时候,输入的命令就可以看出flume的启动入口了 [root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1 Info: Sourcing envir...

2015-01-21 16:45:43

阅读数 5730

评论数 3

【Flume】【源码分析】flume中拦截器的源码分析,以TimestampInterceptor为例

本文将以TimestampInterceptor为例来分析一下flume中拦截器的工作原理 首先来看下改拦截器的实现结构 1、实现了Interceptor接口 该接口的方法定义如下: public void initialize(); public Event intercept(Event...

2015-01-21 10:34:56

阅读数 2305

评论数 0

【Flume】flume ng 1.5.2源码编译的问题

首先从flume官网去下载源码 http://flume.apache.org/download.html 下载完之后,解压,首先去除源码中hdfs和hadoop的test依赖 apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom...

2015-01-20 16:22:41

阅读数 2537

评论数 12

【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用

首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大 解压后,我们看下目录结构如下: [root@com23 hadoop-2.6.0]# ll total 64 drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bin drwxr-xr...

2015-01-14 15:58:09

阅读数 2060

评论数 0

【Kafka】kafka环境搭建及使用

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计 Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行...

2015-01-14 10:37:47

阅读数 2476

评论数 0

【Flume】【源码分析】flume中LoadBalancingSinkProcessor负载均衡实现机制的源码分析

基于上一篇文章http://blog.csdn.net/simonchi/article/details/42520193  相对比较细致的分析后,该文章将对LoadBalancingSinkProcessor源码进行选择性的重要逻辑代码进行讲解 首先读取配置,当然是重写congifure方法 p...

2015-01-12 17:26:19

阅读数 1951

评论数 1

【Flume】【源码分析】flume中FailoverSinkProcessor容错处理机制源码分析

FailoverSinkProcessor顾名思义是flume中sink输出容错的处理器 继承自AbstractSinkProcessor 先看下整体源码 /** * Licensed to the Apache Software Foundation (ASF) under one * or...

2015-01-08 10:33:13

阅读数 2182

评论数 0

【Flume】 flume 负载均衡环境的搭建 load_balance

flume的负载均衡即每次按照一定的算法选择sink输出到指定地方,如果在文件输出量很大的情况下,负载均衡还是很有必要的,通过多个通道输出缓解输出压力 flume内置的负载均衡的算法默认是round robin,轮询算法,按序选择 下面看一下具体实例: # Name the compon...

2015-01-07 16:48:43

阅读数 3523

评论数 0

【Flume】flume 容错环境的搭建 failover

关于failover网上也有很多例子,但是看到的有多重做法,个人觉得,本着职责单一的原则 1、一台机子运行一个flume agent 2、一个agent 的下游sink指向一个flume agent,不要一个flume agent配置多个端口【影响性能】 下面看具体实例: 首先是flumet ...

2015-01-07 16:15:47

阅读数 3626

评论数 0

【Flume】自定义sink kafka,并编译打包jar,unapproval license的问题解决

如图所示,新建一个JAVA工程,编辑pom文件,pom文件内容如下【这里取出了parent】: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www...

2015-01-07 11:49:33

阅读数 4485

评论数 0

提示
确定要删除当前文章?
取消 删除