Hadoop
fox-_-
Nothing here. Really do not want to show any thing for NOW.
展开
-
Hadoop 集群 傻瓜式搭建手记 (四) 完结篇
实际配置这部分时,才发现在(一)当中提到的那两个官网文档已经过时了,现在我实际下载的版本是 0.20.203,也即那个stable版本。于是只好找到相应版本的文档来参考了:http://hadoop.apache.org/common/docs/stable/cluster_setup.html关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf原创 2011-12-14 22:58:32 · 12201 阅读 · 5 评论 -
Hadoop 集群 傻瓜式搭建手记 补充
前面搭建好之后,就应该跑一跑看看,不过由于时间关系,拖了几天,等到真正开始跑测试应用时,才发现问题N多。首先,不知道为何 /hadoop/dfs/name/current/VERSION 文件变成了由root创建,owner也是root了,于是在启动后就发现该文件不能访问,晕,赶紧修改owner:sudo chown fox /hadoop/dfs/name/current/VER原创 2011-12-20 21:57:50 · 4036 阅读 · 2 评论 -
Hadoop 集群 傻瓜式搭建手记 (三)SSH互联
本来以为网络搭建好了就可以了,没有想到还有ssh这个东西需要配置免密码访问,这个东西应该也算是软件上互联吧。ssh免密码本来是很简单的一件事情,不过我折腾了2天,这就是菜鸟的必经过程了,我算是觉悟了。经过无数次的尝试,终于拼出了一条正确的道路:1. 首先在本地生成空密码的公钥和私钥:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa在网原创 2011-12-13 21:03:31 · 8071 阅读 · 0 评论 -
Hadoop 集群 傻瓜式搭建手记 (二)网络连接
软件准备好了,开始搭建网络。我用的是VMware WorkStation 6.5,而VMware提供了三种网络支持:Bridge, Nat, Host Only。关于VMware的网络概念,我严重参考了这篇文章:深入理解VMware虚拟网络(http://wangchunhai.blog.51cto.com/225186/381225)简单来说,我需要这4台虚拟机能上网(Inter原创 2011-12-12 09:24:40 · 7140 阅读 · 3 评论 -
Hadoop 集群 傻瓜式搭建手记 (一) 软件准备
听说Hadoop很久了,今天开始尝试自己搭建一个集群来玩玩,同时学习下Linux各种操作。主要参考资料当然是官方文档了:Hadoop 集群搭建:http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.htmlHadoop 快速入门:http://hadoop.apache.org/common/docs/r0.19.2原创 2011-12-11 22:52:25 · 12854 阅读 · 13 评论