- 博客(4)
- 收藏
- 关注
RSS订阅原创 mapReduce框架个人理解
当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架的意义，hdfs和mapreduce是密不可分，所以当我写分布式文件系统时候，总是感觉自己的理解肤浅。 Mapr
2016-10-23 21:46:32
294
原创 关于HDFS
HDFS 1.什么是HDFS HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS (Hadoop Distributed File System) 2.HDFS的来源 源于Google 三大论文的GFS论文，HDFS是GFS的克隆版 3.HDFS的设计目标 1.自动快速检测应对硬件错误（硬件错误为常态） 2.流式处理访问数据（）
2016-10-11 08:23:18
458
原创 Yarn个人总结
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 1.2
2016-10-10 20:46:04
954
原创 我对Hadoop的了解
在这里，我想谈一谈我对Hadoop的了解，感兴趣的伙伴可以看一看，不足之处欢迎指正。什么是Hadoop 首先，Hadoop是一个开发和运行处理大规模数据的软件平台，是一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop的组成 由以下三大核心，四大模块，两大协议组成 三大核心 HDFS 、MapReduce 、YARN 四大模块 h
2016-10-10 20:28:09
851
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人