云计算
文章平均质量分 78
TL_RainSoul
这个作者很懒,什么都没留下…
展开
-
hadoop错误汇总
该文件记录学习hadoop过程中碰到的一系列问题(1)、hadoop测试中碰到的log4j:NULLAppender问题前面安装hadoop单机版,碰到一个问题,一直没解决,就是在用hadoop versione命令查询hadoop版本的时候,出现log4j:ERROR Could not find value for key log4j.appender.NullAppe...2012-01-15 12:51:26 · 657 阅读 · 0 评论 -
突然发现的HDFS与GFS在实现上的一些不同
GFS:Google File System HDFS:Hadoop Distribute File System 首先,有一点要确认的是,作为GFS的一个最重要的实现,HDFS设计目标和GFS是高度一致的。在架构、块大小、元数据等的实现上,HDFS与GFS大致一致。但是,在某些地方,HDFS与GFS又有些不同。如: 1、 快照(Snapshot): GFS...2012-05-13 21:41:37 · 506 阅读 · 0 评论 -
《Google 三大论文》_MapReduce
MapReduce是Google三大论文中与应用方面最接近的一层,应该说,也是我们在学习和应用分布式系统基础架构(如hadoop)时唯一关心的。 简单点说,MapReduce是一种编程模型,在处理和生成TB级数据时非常有用:通过简单的接口来实现自动的并行化合大规模的分布式运算,并且不用考虑容错、负载均衡等等繁琐而麻烦的细节。 MapReduce借用了函数式编程的概念,它的实现的思...2011-11-29 20:40:48 · 624 阅读 · 0 评论 -
《Google三大论文》_The Google File System
关于预期和实现: 在Google的面向大规模的数据密集型的分布式运用中,GFS都是关键和基础。同时,开源的hadoop File System 与GFS也是很相似的。 与传统的文件系统相比,GFS在设计上有以下几种特点: 一、组件失效被认为是常态,而不是意外 这很好理解,Google 的应用动辄数百甚至数千台机器,访问量又是巨大的。在系统集群工作期的任何时间点都有可能...2011-11-29 23:53:43 · 263 阅读 · 0 评论 -
hadoop单机转伪分布笔记
<!-- @page { margin: 2cm } PRE.cjk { font-family: "文泉驿微米黑", monospace } P { margin-bottom: 0.21cm } --> 一、伪分布(Pseudo-Distributed)与分布式(Fully-Distribute...2012-02-12 14:27:26 · 181 阅读 · 0 评论 -
浅谈云计算中的平台无关性
云计算,这个词汇越来越成为IT企业的一种趋势,甚至于可能在未来的十年到二十年成为人们生活的一个重要组成部分。在2012年的博鳌亚洲论坛上,主持人这样形容:云计算将改变企业,社会,文化的关系,甚至于改变文明本身。 云计算,是一种集中管理服务资源的方式,这些资源包括计算能力、数据存取、软件服务等。峰子@风子柒认为未来的云计算会和另一个热门词汇“物联网”结合起来,理由很简单,物联网的实现背后...原创 2012-04-04 22:56:40 · 234 阅读 · 0 评论