hadoop
加油妹妹
写的博客如果云里雾里,还有什么意义
展开
-
hadoop---HDFS核心概念以及HDFS Java Api的使用
HDFS概念和存储机制: 概念: 分布式文件系统,主要是文件系统。 存储机制:将文件切分称指定大小的数据块(默认128MB)并以多副本的方式存储在多台服务器上。 (默认3份)数据的切分,多副本,容错等操作对用户来说是透明的。用户操作对象还是文件。 hdfs存储概念图 文件part-0被切分为2个数据块编号为1、3,而1、3分别有2个副本。 ...原创 2018-07-24 22:26:02 · 305 阅读 · 0 评论 -
hadoop--YARN核心概念
YARN:Yet Another Resource Negotiator 核心概念:资源调度系统 功能: 负责整个集群资源的管理和调度。 为上层应用提供统一的资源管理和调度。 多框架资源统一调度 YARN 架构: 1)ResourceManager: RM 整个集群同一时间提供服务的RM只有一个,负...原创 2018-07-24 22:25:03 · 172 阅读 · 0 评论 -
hadoop---MapReduce核心概念
MapReduce :分部署计算框架 MapReduce Map和Reduce阶段 1)将作业拆分称Map阶段和Reduce阶段 2)Map阶段:Map Tasks 3)Reduce阶段:Reduce Tasks MapReduce 执行步骤: 1)准备Map处理的输入数据。 2)Mapper处理 3)shuffle:将一定规则的key分到一个reduc...原创 2018-07-24 22:27:06 · 198 阅读 · 0 评论