- 博客(9)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 【Java】【Flume】Flume-NG源码阅读之AvroSink
org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink extends AbstractSink implements Configurable这跟其他的sink一样都得extends Abstract
2014-06-24 13:48:57
3379
原创 【Java】【Flume】Flume-NG启动过程源码分析（三）
本篇分析加载配置文件后各个组件是如何运行的？ 加载完配置文件订阅者Application类会收到订阅信息执行： @Subscribe public synchronized void handleConfigurationEvent(MaterializedConfiguration conf) { stopAllComponents(); startAll
2014-06-24 13:46:21
3304
1
原创 【Java】【Flume】Flume-NG启动过程源码分析（二）
本节分析配置文件的解析，即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在AbstractConfigurationProvider类中实现了，并且这个类也初始化了三大组件的工厂类：this
2014-06-24 13:45:11
5683
1
原创 【Java】【Flume】Flume-NG启动过程源码分析（一）
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。 根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒
2014-06-24 13:41:19
6655
原创 【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期移除完成
2014-06-24 13:24:04
5746
原创 [JSP]JSP中include指令和include动作的区别
include指令是编译阶段的指令，即include所包含的文件的内容是编译的时候插入到JSP文件中，JSP引擎在判断JSP页面未被修改，否则视为已被修改。由于被包含的文件是在编译时才插入的，因此如果只修改了include文件内容，而没有对JSP修改，得到的结构将不会改变，所以直接执行已经存在的字节码文件，而没有重新编译。因此对不经常变化的内容，用include指令是合适的，如果需要的内容是经常变
2014-06-22 17:07:41
18910
1
原创 【Java】Appache Flume 中文介绍
前话Flume OG 也就是 Flume original generation 由 Cloudera公司开发，最新版本是0.9.4。而Flume NG 就是 Flume next generation， 大概在2011年6月份由 Cloudera贡献给开源社区，目前属于Apache的一个incubator project。官网:http://flume.appache.org/
2014-06-22 08:52:55
12730
3
转载 【Java】【日志】大型开源日志系统比较 Flume Scribe Chukwa Kafka
大型开源日志系统比较时间：2012-06-29 作者：董的博客 出处：dongxicheng.org日志对于系统的安全来说非常重要，它记录了系统每天发生的各种各样的事情，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。日志主要的功能是审计和监测。它还可以实时地监测系统状态，监测和追踪侵入者。 本文将介绍几个开源系统并做比较。1.
2014-06-21 16:21:25
4870
原创 【DB】HBase的基本概念
一 Hbase是个啥东东？ 在说Hase是个啥家伙之前，首先我们来看看两个概念，面向行存储和面向列存储。面向行存储，我相信大伙儿应该都清楚，我们熟悉的RDBMS就是此种类型的，面向行存储的数据库主要适合于事务性要求严格场合，或者说面向行存储的存储系统适合OLTP，但是根据CAP理论，传统的RDBMS，为了实现强一致性，通过严格的ACID事务来进行同步，这就造成了系统的可用性和伸缩性方面大大折扣
2014-06-20 14:01:38
2292
H2内存数据库学习资料2013年版
2014-07-24
WEB(JS)流程设计器
2012-03-11
VBA自作工具
2008-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人