hadoop
mxsfengg
这个作者很懒,什么都没留下…
展开
-
hadoop分布式系统(上)
简介 HDFS, the Hadoop Distributed File System, 是一个分布式系统,它被设计用来存储大数据量的信息(通常是TB或PB),并提供对数据进行高吞吐量访问的性能。文件被存储在多台机器中,确保系统的抗失效性能以及并行应用程序的高效。这篇文章主要介绍 HDFS的设计意图、结构,并告诉读者怎样去使用它。 本文的目...2008-11-28 10:55:26 · 167 阅读 · 0 评论 -
Hadoop分布式系统(中)
配置HDFS 配置HDFS应该是一件不难的事情。首先,我们先配好HDFS的配置文件,再对NameNode进行format操作。 配置Cluster 这里,我们假定,你已经下载了Hadoop的一个版本,并解压完毕。 Hadoop安装目录下的conf是hadoop存放配置文件的目录,里面有一些XML文件需要配置。conf/had...2008-12-02 13:45:20 · 92 阅读 · 0 评论 -
搞定 hadoop Permission denied
hadoop Permission denied ,很显然是没有权限,这个是hadoop的权限。 一般情况下,只需要 设置 hadoop.job.ugi 这个属性就可以了。如, conf.set("hadoop.job.ugi", "hadoop,hadoop"); 网上也有一些其他的说法, http://blog.rapleaf.com/dev/?p=38...2010-03-25 12:12:07 · 2098 阅读 · 0 评论 -
MapR 让 Hadoop 跑得更快
MapR 创造性的使用了更多的大数据分析方法,使得对数据的处理更快了。MapR的专利,无锁储存服务提供了一个分布式读写层,它主要解决了本地文件系统限制、java问题、和单name node节点 引起的限制的问题。MapR极大的提高了MapReduce的吞吐量。底层的存储服务提供了优化的shuffle操作,使得性能提升。为了全面提升性能,MapR在随机IO方面也表现优异,比其他的ha...2011-07-08 11:16:58 · 214 阅读 · 0 评论