部分内容来自于博客;http://blog.csdn.net/huangcao5674/article/details/7801724 (链接1)谢谢原作者!
Hadoop配置主要有三部分内容:
(1)Ubuntu安装
(2)JDK配置
(3)SSH配置
(4)Hadoop配置
下面主要讲一些容易犯错的地方:
1、Ubuntu安装
可以下载ubuntu-14.04-desktop-i386.iso文件,百度即可,很多下载资源。可以安装双系统,也可以通过Vmware虚拟机来实现Ubuntu(通过虚拟机,效果也很棒)。
2、JDK配置
推荐下载:jdk-7u7-linux-i586.tar.gz,百度即可。JDK配置方法,可以参考:http://www.cnblogs.com/cloudwind/archive/2012/10/19/2731263.html,此处需要注意的问题,就是配置环境变量的位置,有的只是配置在了当前用户下面。建议按照链接网页中的方法配置。
3、SSH配置
按照 链接1 中的方式配置SSH就可以,首先安装一下openssh-server。
需要注意的问题:
(1) 可能会遇到防火墙问题,关闭防火墙命令:ufw disable,删除防火墙:apt-get remove iptables
4、Hadoop配置
对其中的几个配置点进行简单的解释:
(1)hadoop-env.sh 环境变量设置 因为hadoop是由java编写的,所以配置好JAVA_HOME
(2)core-site.xml 核心配置文件 配置hdfs的访问路径以及端口
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
(3)hdfs-site.xml 配置hdfs,设置备份方式
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)mapred-site.xml 配置JobTracker的地址以及端口
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
需要注意的几点问题:
(1)权限问题,运行hadoop namenode -format命令等时,可能无权操作相关文件夹下的文件,此时要修改文件夹的权限。
可以参考:http://www.cnblogs.com/avril/archive/2010/03/23/1692809.html
chown -R 用户组(或用户名) 文件夹名 ---修改某文件夹下所有文件的拥有者
(2)可以查看hadoop的运行情况:
http://localhost:50030 MapReduce
http://localhost:50070 HDFS
(3) 连接1 中为了方便操作hadoop,新创建了hadoop用户,这个也是可以参考的,非常不错。