王德封-逐浪

我是程序员、我乐意、我高兴

【Java】【Flume】Flume-NG源码阅读之AvroSink

org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink  extends AbstractSink i...

2014-06-24 13:48:57

阅读数:2994

评论数:0

【Java】【Flume】Flume-NG启动过程源码分析(三)

本篇分析加载配置文件后各个组件是如何运行的?   加载完配置文件订阅者Application类会收到订阅信息执行: @Subscribe public synchronized void handleConfigurationEvent(MaterializedConfigur...

2014-06-24 13:46:21

阅读数:2983

评论数:1

【Java】【Flume】Flume-NG启动过程源码分析(二)

本节分析配置文件的解析,即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在Abstrac...

2014-06-24 13:45:11

阅读数:5342

评论数:0

【Java】【Flume】Flume-NG启动过程源码分析(一)

从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类,这是flume的main函数所在。   main方法首先会先解析shell命令,如果指定的配置文件不存在就甩出异常。   根据命令中含有"n...

2014-06-24 13:41:19

阅读数:6136

评论数:0

【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource

org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给...

2014-06-24 13:24:04

阅读数:5267

评论数:0

[JSP]JSP中include指令和include动作的区别

include指令是编译阶段的指令,即include所包含的文件的内容是编译的时候插入到JSP文件中,JSP引擎在判断JSP页面未被修改,否则视为已被修改。由于被包含的文件是在编译时才插入的,因此如果只修改了include文件内容,而没有对JSP修改,得到的结构将不会改变,所以直接执行已经存在的字...

2014-06-22 17:07:41

阅读数:16812

评论数:1

【Java】Appache Flume 中文介绍

前话 Flume OG 也就是 Flume original generation 由 Cloudera公司开发,最新版本是0.9.4。而Flume NG 就是 Flume next generation, 大概在2011年6月份由 Cloudera贡献给开源社区,目前属于Apache的一个inc...

2014-06-22 08:52:55

阅读数:10054

评论数:2

【Java】【日志】大型开源日志系统比较 Flume Scribe Chukwa Kafka

大型开源日志系统比较 时间:2012-06-29   作者:董的博客   出处:dongxicheng.org 日志对于系统的安全来说非常重要,它记录了系统每天发生的各种各样的事情,用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。日志主要的功能是审计和监测。...

2014-06-21 16:21:25

阅读数:3445

评论数:0

【DB】HBase的基本概念

一 Hbase是个啥东东?  在说Hase是个啥家伙之前,首先我们来看看两个概念,面向行存储和面向列存储。面向行存储,我相信大伙儿应该都清楚,我们熟悉的RDBMS就是此种类型的,面向行存储的数据库主要适合于事务性要求严格场合,或者说面向行存储的存储系统适合OLTP,但是根据CAP理论,传统的RD...

2014-06-20 14:01:38

阅读数:2006

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭