- 博客(6)
- 资源 (9)
- 收藏
- 关注
原创 【Flume】【源码分析】flume中事件Event的数据结构分析以及Event分流
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。前言首先来看一下flume官网中对Event的定义一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化,它将流转换为对象。这两个过程结合起来,可以轻松地...
2015-02-12 12:46:58 12581 2
原创 【Flume】从flume的监控度量数据XXXCounter来看JAVA并发编程中的CAS操作
图示如上图所示红框部分,本人在做稳定性测试的时候,当flume运行几天后,我发现这个counter值逐渐变大,到一定值后,又变小了,有一个循环的过程,故而对此产生研究的欲望,下面来看看:if (txnEventCount == 0) { sinkCounter.incrementBatchEmptyCount(); } else if (txnEvent
2015-02-12 09:35:52 4793
原创 【Flume】flume多个输出分支的配置,多sink,多channel
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。这里就简单贴个配置吧,有问题欢迎留言探讨sink的配置##############################define [sink] begin##############################...
2015-02-11 09:44:49 12375 1
原创 【Flume】【源码分析】flumeng的事务控制的原理详解【内存通道memory channel】
flume ng中所有的事务控制都是从sink的process方法内开始的1、获取事务Transaction transaction = channel.getTransaction();方法定义:public Transaction getTransaction() { if (!initialized) { synchronized (this) {
2015-02-06 10:36:26 4700
原创 【Flume】【源码分析】flume中ExecSource源码的详细分析——执行终端命令获取数据
我们直接看该Source的start方法吧public void start() { logger.info("Exec source starting with command:{}", command); executor = Executors.newSingleThreadExecutor(); runner = new ExecRunnable(shell
2015-02-05 10:17:06 4300
原创 【hadoop 2.6】hadoop 2.6源码编译过程,redhat 5.8操作系统进行编译【附:软件下载】
大家在官网下载hadoop2.6安装完使用的时候,总是在控制台有这样一句 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable因为官网给的32位系统编译的版本,在64位的操作系统上使
2015-02-04 16:53:42 1752
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人