分布式
深度思索
走在路上思考着前进
展开
-
Error: Cannot find configuration directory: /etc/hadoop
在安装Hadoop2.7.2部署伪分布式集群时,使用命令 start-all.sh 或者 start-dfs.sh 启动时,出现 Error: Cannot find configuration directory: /etc/hadoop 错误。解决方法:在系统为ubuntu12.04时,修改系统文件/etc/profile,添加内容:export HADOOP_HOME=/usr/原创 2016-02-29 17:32:15 · 9918 阅读 · 0 评论 -
大数据平台系统概览
开源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用。另一方面,开源也给大数据技术构建了一个异常复杂的生态系统。每一天,都有一大堆“新”框架、“新”类库或“新”工具,犹如雨后春笋般涌出,乱花渐欲“迷”人眼。为了掌控住这些“新玩意”,数据分析的达人们不得不“殚精竭虑”地“学而时习之转载 2017-07-19 17:36:04 · 2490 阅读 · 0 评论 -
Yarn资源调度策略
YARN资源调度策略转载2016-08-21 21:23:56标签:yarnYARN虽然是从MapReduce发展而来,但其实更偏底层,它在硬件和计算框架之间提供了一个抽象层,用户可以方便的基于YARN编写自己的分布式计算框架,而不用关心硬件的细节。由此可以看出YARN的核心功能:资源抽象、资源管理(包括调度、使用、监控、隔离等等)。从某种程度上说YARN类似于转载 2017-10-19 19:39:55 · 1760 阅读 · 0 评论 -
分布式系统distributed-system资料
分布式系统(Distributed System)资料希望转载的朋友,你可以不用联系我.但是一定要保留原文链接,因为这个项目还在继续也在不定期更新.希望看到文章的朋友能够学到更多.《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)转载 2017-11-05 16:31:09 · 1741 阅读 · 0 评论