![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关
harrylee2015
目前从事区块相关的后台研发工作
展开
-
spark1.6.2 on hadoop2.6.4安装流程
spark1.6.2 on hadoop2.6.4安装流程原创 2016-12-05 22:20:46 · 334 阅读 · 0 评论 -
Hadoop Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。转载 2016-12-05 22:36:08 · 393 阅读 · 0 评论 -
初识HDFS分布式文件系统
HDFS源自Google的GFS(Google分布式文件系统)论文,分布式文件系统(HDFS)是GFS的克隆版。HDFS负责数据文件的存储,可让多机器上分享存储空间,让实际上通过网络来访问文件的动作,用户就像是访问本地磁盘一样便捷。即使HDFS集群中某些节点脱机, 整体来说系统仍然可以持续运作而不会有数据丢失。HDFS提供了一个低成本、高可靠、高容错、高性能的分布式文件系统。1.低成本主要原创 2016-12-08 22:13:26 · 470 阅读 · 0 评论