Hadoop
文章平均质量分 79
进击的马小林
这个作者很懒,什么都没留下…
展开
-
Hadoop 常用命令
启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件 hadoop dfs转载 2016-09-14 09:33:58 · 246 阅读 · 0 评论 -
GFS论文-Google File System(中文翻译)
Google文件系统 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 (1)设计想定 GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同的设想。这转载 2016-10-21 18:01:33 · 593 阅读 · 0 评论 -
MapReduce论文- 中文翻译
MapReduce:超大机群上的简单数据处理 摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用转载 2016-10-21 18:04:19 · 600 阅读 · 0 评论 -
论文BigTable-Google's BigTable 原理 (翻译)
Google's BigTable 原理 (翻译) 题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 欢迎订阅作者微博 ------ 编者 官方的Google Reader blog 中有对BigTable 的解释。这是Google转载 2016-10-21 18:05:54 · 470 阅读 · 0 评论