关于 Chukwa 数据收集监控系统的介绍

Apache Chukwa是一个基于Hadoop的开源数据收集系统,用于监控大型分布式系统。其特点包括架构清晰、部署简单、数据类型广泛且与Hadoop无缝集成。Chukwa的组件包括agent、adaptor、collector、map/reduce jobs和HICC,分别负责数据采集、转换、存储、处理和展示。Chukwa通过watchdog机制、多collector设置和demux、archive作业确保数据的可靠性、去重和高效存储。HICC提供了数据展示功能,支持数据的实时和历史趋势分析。
摘要由CSDN通过智能技术生成

1、什么是Chuwka?

  Chuwka官方解释:

      Apache Chukwa是一个用于监控大型分布式系统的开源数据收集系统。Apache Chukwa构建于Hadoop分布式文件系统(HDFS)和Map / Reduce框架之上,并继承了Hadoop的可扩展性和健壮性。Apache Chukwa还包括一个灵活而强大的工具包,用于显示,监控和分析结果,以充分利用收集的数据。

 

2、为什么使用Chuwka

       当一家公司刚开始做大数据,或者说使用大数据技术处理数据时,刚开始的大数据集群的规模不是很大,每天从业务数据源或者其他数据源得到的数据不是很多。但是当公司逐渐发展,业务线逐渐增多并且数据量增多,这时候hadoop集群的规模可能达到1000+时,集群自身的信息将会大量增加。

       面对这种情况,Apache开发出一个开源的数据收集和分析系统—Chukwa来处理Hadoop集群的数据。Chukwa有几个非常吸引人的特点:

  1)架构清晰,部署简单;

  2)收集的数据类型广泛,具有很强的扩展性;

  3)与 Hadoop 无缝集成,能完成海量数据的收集与整理。

 

3、Chuwka的架构

<
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值