自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 mapReduce框架个人理解

当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不可分,所以当我写分布式文件系统时候,总是感觉自己的理解肤浅。   Mapr

2016-10-23 21:46:32 291

原创 关于HDFS

HDFS 1.什么是HDFS HDFS: Hadoop分布式文件系统(Distributed File System) - HDFS (Hadoop Distributed File System) 2.HDFS的来源 源于Google 三大论文的GFS论文,HDFS是GFS的克隆版 3.HDFS的设计目标 1.自动快速检测应对硬件错误(硬件错误为常态) 2.流式处理访问数据()

2016-10-11 08:23:18 455

原创 Yarn个人总结

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。 1.2 

2016-10-10 20:46:04 953

原创 我对Hadoop的了解

在这里,我想谈一谈我对Hadoop的了解,感兴趣的伙伴可以看一看,不足之处欢迎指正。什么是Hadoop 首先,Hadoop是一个开发和运行处理大规模数据的软件平台,是一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop的组成 由以下三大核心,四大模块,两大协议组成 三大核心 HDFS 、MapReduce 、YARN 四大模块 h

2016-10-10 20:28:09 848

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除