![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Tupac.Amaru.Shakur
这个作者很懒,什么都没留下…
展开
-
Hadoop-YARN的资源调度
yarn概述 YARN 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操 作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程...转载 2019-04-12 20:04:59 · 235 阅读 · 0 评论 -
HDFS的读写流程(详解)
概述 HDFS(Hadoop Distributed File System)是GFS的开源实现。 HDFS的优缺点 1、优点 因为有多个副本,可以保证数据可靠,容错性高 计算向数据移动,适用于批处理 适合大数据处理,GB、TB、PB级数据,百万以上的文件,十万以上的节点 可以构建在廉价机器上,通过多副本提高可靠性 2、缺点 不支持低延迟的数据访问,无法再毫秒之内返回结果 小文件对于HDFS...原创 2019-05-02 17:23:37 · 9694 阅读 · 1 评论 -
Hadoop核心组成部分、HDFS存储模型和架构模型总结
Hadoop核心组成部分 (1)Hadoop Common:用来支撑其他模块的公共工具包 (2)HDFS: 一种分布式文件系统,提供对应用程序数据的高吞吐量访问。 (3)Hadoop Yarn:作业调度和集群资源管理的框架。 (4)Hadoop MapReduce:基于YARN的系统,用于并行处理大型数据集。 HDFS存储模型 存储模型:字节(一个文件就是一个字节数组) ①block块产生:文件...原创 2019-04-30 13:11:40 · 1914 阅读 · 0 评论 -
Hadoop1.X和Hadoop2.X的运行架构详解
Hadoop1.X运行架构 首先了解,Job Tracker和Task Tracker都是常服务 客户端先和HDFS交互,取到文件的block块信息,由客户端将block按照配置切成split切片,切片的大小完全由配置决定,可以和block块大小相等,也可以大于或者小于。因为客户端获取到的block块信息有偏移量和块的位置信息,所以产生的split切片也会有block所在的位置信息和便宜量,由此...原创 2019-05-06 21:42:35 · 1151 阅读 · 0 评论