Hadoop各个组件的功能

标签: hadoop
3人阅读 评论(0) 收藏 举报
分类:
  1. MapReduce:负责数据的map规整与reduce的计算
  2. Hdfs:分布式文件系统
  3. Yarn:负责资源的调度与管理
  4. Combiner:在map的时候根据应用场景进行事先的reduce
  5. Partitioner:根据不同的的应用场景进行分区的计算,多个task任务
查看评论

hadoop中各组件的作用

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…   1.HDFS:分布式文件系统,隐藏集群细节,可以看做一块儿超大硬盘          主:namenode,...
  • u012155582
  • u012155582
  • 2016-08-09 16:26:08
  • 3947

Hadoop上的一些组件介绍

1.FlumeFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进...
  • xuyaoqiaoyaoge
  • xuyaoqiaoyaoge
  • 2016-10-25 15:43:15
  • 1550

hadoop学习——Hadoop核心组件

下图展示了hadoop生态系统的核心组件。                                     下面来简单介绍各个组件的作用:  HDFS(Hadoop dist...
  • hehongbo7632566
  • hehongbo7632566
  • 2014-11-18 21:21:18
  • 1272

Hadoop 组件HDFS详解

概念 HDFS HDFS(Hadoop Distributed FileSystem)是一种专门为MapReduce这类框架下的大规模分布式数据处理而设计的文件系统。可以把一个大数据集(100...
  • magina_lil
  • magina_lil
  • 2016-06-05 17:11:10
  • 726

hadoop需要注意几个组件端口

  • 2016年03月07日 15:24
  • 1.25MB
  • 下载

Hadoop各个组件大概介绍

  • 2016年03月07日 15:09
  • 837KB
  • 下载

对hadoop中各个组件的简单描述

英语理解能力好的童鞋可以参考(这里有详细的各个hadoop组件的名称及用途): http://www.cloudera.com/documentation/manager/5-0-x/Cloudera...
  • Warm_days
  • Warm_days
  • 2018-02-26 16:29:57
  • 32

Hadoop对各个节点的角色定义

Hadoop分别从三个角度将主机划分为两种角色。第一、最基本的划分为Master和Slave,即主人和奴隶;第二,从HDFS的角度,将主机划分为NameNode和DataNode(在分布式文件系统中,...
  • u4110122855
  • u4110122855
  • 2014-04-28 15:22:22
  • 5039

浅谈hadoop个组件

分布式存储和分布式计算渗透在Hadoop框架的各个方面,运行Hadoop就相当于运行多个守护线程或者本地程序在同一网络不同的服务器上,这些线程扮演着不同的角色,一些会在一个服务器上,一些会存在不同的服...
  • sitan3216
  • sitan3216
  • 2017-07-31 17:55:55
  • 151
    个人资料
    等级:
    访问量: 1万+
    积分: 316
    排名: 24万+
    最新评论