![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
wzm112
这个作者很懒,什么都没留下…
展开
-
基于Hadoop平台的云存储应用实践
参考网站:http://cloud.doit.com.cn/article/2012/0328/2574926.shtml 云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总转载 2012-11-09 19:07:22 · 1378 阅读 · 0 评论 -
Hadoop平台上的海量数据排序
参考资料:http://blog.chinaunix.net/uid-18942516-id-2978046.html Yahoo!研究人员使用Hadoop完成了Jim Gray基准排序,此排序包含许多相关的基准,每个基准都有自己的规则。所有的排序基准都是通过测量不同记录的排序时间来制定的,每个记录为100字节,其中前面的10字节是键,剩余的部分是数值。MinuteSort是比较转载 2013-03-20 13:18:15 · 732 阅读 · 0 评论 -
CentOS的Hadoop集群配置(一)
参考网站:http://blog.csdn.net/inte_sleeper/article/details/6569985 参考资料: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ http://www.michael-noll.com/tuto转载 2013-03-17 21:42:28 · 533 阅读 · 0 评论 -
CentOS的Hadoop集群配置(二)
参考网站:http://blog.csdn.net/inte_sleeper/article/details/6569990 下面的教程把它们合并至multi-nodecluster。 1. 合并single-node至multi-nodecluster 修改master的hadoop/conf/core-site.xml: hadoop.tmp.dir转载 2013-03-17 21:43:37 · 664 阅读 · 0 评论 -
java.io.IOException: File /home/hadoop/mapred/system/jobtracker.info could only be replicated to 0 n
参考网站:http://blog.csdn.net/posa88/article/details/7870627 我又再次在关闭hadoop前format了,然后又出现这个错误。 java.io.IOException: File /home/hadoop/mapred/system/jobtracker.info could only be replicated to 0转载 2013-03-17 21:40:18 · 892 阅读 · 0 评论 -
Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server
参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785 有项目需要用到HBase,配置Hadoop集群的情况如下: OS : Ubuntu 11.04 Hadoop 2.02 三台虚拟机IP分配如下: 192.168.128.131 master 兼slave 192.168.128.132 slave转载 2013-03-17 21:38:39 · 28181 阅读 · 0 评论 -
Hadoop完全分布式配置
http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html 环境:CentOs5、hadoop0.20.203、jdk1.6.0_29 namenode:centos1(ip:192.168.1.101) datanode:centos2(ip:192.168.1.103)、centos3(ip:192.1转载 2013-03-17 23:50:31 · 503 阅读 · 0 评论 -
布置伪分布式环境-故障及解决
参考网站:http://blog.sina.com.cn/s/blog_4e4ee8ed0100zafi.html 1、hadoop fs -ls不能查询,上图 ———————————————————————————— [shim@hadoop ~]$ hadoop fs -ls ls: Cannot access .: No such file or directory.转载 2013-03-17 22:45:39 · 521 阅读 · 0 评论 -
如何使用Python为Hadoop编写一个简单的MapReduce程序(这个人T字还有好几篇精华的可以看)
参考网站:http://www.cnblogs.com/end/archive/2012/08/13/2636175.html 转载自:http://asfr.blogbus.com/logs/44208067.html 在这个实例中,我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce 程序。 尽管Hadoop转载 2013-03-17 22:44:08 · 671 阅读 · 0 评论 -
hadoop常用命令
参考网站:http://blog.chinaunix.net/uid-10915175-id-3258669.html 启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容转载 2013-03-17 21:37:14 · 510 阅读 · 0 评论 -
用hadoop中的libhdfs和fuse-dfs构建快速云存储(出自 实践检验真理 博客)
参考网站:http://slaytanic.blog.51cto.com/2057708/753158/ 安装版本: OS版本:CentOS 5.4 Hadoop版本:0.20.203.0 gcc:系统默认4.1.2 Jdk:1.6.0.21 FUSE:2.7.4 环境需求: automake,autoconf,m4,libtool,pkgc转载 2012-11-09 19:13:01 · 1080 阅读 · 0 评论 -
Hadoop是怎么分块的
参考网站:http://blog.csdn.net/wh62592855/article/details/7227198?reload 可以结合之前转过的一篇文章一起看 http://blog.csdn.net/wh62592855/article/details/6583364 ##############################################转载 2013-03-26 19:35:54 · 532 阅读 · 0 评论