chukwa
SavageGarden_Love
这个作者很懒,什么都没留下…
展开
-
将Chukwa 0.5部署在基于Cloudera CDH4的Hadoop集群上
一、使用maven构建基于chukwa 0.5的项目 使用nexus搭建了maven私服,此时如果使用maven构建chukwa 0.5版本时可能在以下两个依赖项遇到问题 thrift-0.2.0.jar hadoop-core-0.20-append-r1056497.pom 这是因为chukwa0.5版本在pom文件中依赖了hbase0...原创 2012-04-24 15:51:28 · 130 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的安装部署
chukwa是解决在集群环境中收集各节点增量日志的一种基于hadoop的实现方案,其主要有如下四个组成部分。1. Agents 运行在每个客户端上,负责发送数据。2. Collectors 接收Agents发送的数据并写入稳定存储。3. MapReduce jobs 分析和归档数据。4. HICC 数据中心,用于显示数据的web界面。它的系统架构如下图以单机部署为例,前...2012-02-27 16:42:52 · 144 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的处理流程
1. 模拟增量日志环境/home/matrix/Program/project/log/testlog- 10.0.0.10 [17/Oct/2011:23:20:40 +0800] GET /img/chukwa.jpg HTTP/1.0 "404" "16" "Mozilla/5.0 (MSIE 9.0; Windows NT 6.1;)"- 10.0.0.11 [17...2012-02-27 17:50:52 · 223 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(适配器、代理)
1. 接口、实现类简介(1)Chukwa使用适配器(Adaptor)实现对各种输入(Streaming、Log File)的监控 org.apache.hadoop.chukwa.datacollection.adaptor.Adaptor 适配器接口// 启动适配器void start(String adaptorID, String type, long off...2012-02-29 16:56:23 · 136 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(连接器)
1. 接口、实现类简介(1)org.apache.hadoop.chukwa.datacollection.connector.Connector 连接器接口,旨在设置一个与收集器的长连接以反复发送数据// 启动连接器public void start();// 停止连接器public void shutdown();// 重新加载配置public v...2012-03-01 17:17:06 · 135 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(收集器)
1.接口、实现类简介 org.apache.hadoop.chukwa.datacollection.collector.CollectorStub 收集器服务类,使用jetty实现了一个webserver以处理连接器提交的数据块 org.apache.hadoop.chukwa.datacollection.collector.servlet.ServletColl...原创 2012-03-06 17:46:09 · 138 阅读 · 0 评论 -
基于Hadoo的日志收集框架---Chukwa的源码分析(数据处理)
1.工具类、接口简介(1) // 用于对数据进行分类 org.apache.hadoop.chukwa.extraction.demux.DemuxManager // mapreduce程序的map处理接口 org.apache.hadoop.chukwa.extraction.demux.processor.mapper.MapProcessor...原创 2012-03-06 18:12:36 · 142 阅读 · 0 评论