大数据
文章平均质量分 58
Crazy ProMonkey
这个作者很懒,什么都没留下…
展开
-
大数据——Flume
一、概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。同时,Flume基于流式架构,因此使用起来灵活简单。二、Flume基础结构Flume主要由Source、Channel、Sink三个部分组成,这三部分组成了一个Agent。Agent是一个JVM进程,它以事件event的形式将数据从源头送至目的地。Source:负责接收数据到Flume Agent的组件,可以处理各种类型、各种格式的日志数据。Sink:Sink不断地轮询Chann原创 2022-02-06 11:54:10 · 1773 阅读 · 0 评论 -
大数据——Hadoop组成及架构分析
一、Hadoop组成Hadoop1.x主要由MapReduce+HDFS+Common组成MapReduce:负责任务的计算以及实现资源的调度HDFS:负责数据的存储Common:是一个Hadoop的底层的辅助工具,为框架服务Hadoop2.x在1.x版本上进一步解耦及优化,增加了Yarn。在2.x中,MapReduce只负责计算,而Yarn单独负责资源的调度二、Hadoop架构分析HDFS1. NameNode:即nn,负责存储文件的元数据,如文件名、文件目录结原创 2022-01-25 13:21:09 · 5273 阅读 · 0 评论 -
大数据——Hadoop的优势
1. 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或者存储出现故障,也不会导致数据的丢失。2. 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。3. 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。4. 高容错性:能够自动将失效的任务重新分配。...原创 2022-01-25 11:33:51 · 4680 阅读 · 0 评论