Hadoop伪分布式配置

[size=large][align=center]Hadoop伪分布式配置[/align][/size]

[size=medium]一、 硬件类型
Linux系统：Centos6.0 虚拟机：VMware-workstation-9.0 主机：Win7
Hadoop：hadoop-1.0.4 开发工具：Eclipse

二、 SSH的配置
1. 安装SSH
[color=darkred]#yum install openssh-server[/color]
2. 设置无密码登录SSH
[color=darkred]#ssh-keygen -t dsa
#cd ~/.ssh
#cat id_dsa.pub >> authorized_keys [/color]

三、 JDK的配置
准备：下载jdk-6u27-linux-i586.bin
1. 权限问题：如果以普通用户登陆，切换到root用户，但安全起见，还是建议普通用户登陆，切换方式：
$ su – root //准备切换
2. 解压文件：
[color=darkred][color=darkred]mkdir /usr/java //在usr目录下建一个文件夹java
//进入home文件夹，假设jdk-6u27-linux-i586.bin在home文件夹下
#cd /home
#cp jdk-6u27-linux-i586.bin /usr/java //复制到java文件夹
#cd /usr/java
# ./jdk-6u27-linux-i586.bin //解压
生成文件夹jdk1.6.0_27[/color]
3. 配置环境变量：
用文本编辑器打开 /etc/profile文件加入以下几行：
[color=darkred]export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin[/color]

四、 Hadoop伪分布式
1. 解压Hadoop
[color=darkred]#tar -zxvf hadoop-1.0.4.tar.gz[/color]
2. 设置hadoop的JAVA_HOME环境变量
[color=darkred]#cd /usr/java/hadoop-1.0.4/conf/
#gedit /usr/java/hadoop-1.0.4/conf/hadoop-env.sh
#export JAVA_HOME="/usr/java/jdk1.6.0_27"[/color]
3. 设置参数
1) 执行 cd /etc/sysconfig,进入/etc/sysconfig 目录下
2) 执行 vi network,修改network文件，
[color=darkred] NETWORKING=yes
HOSTNAME=HadoopName
#把HOSTNAME改成你想要的机器名，我改成了HadoopName，然后保存[/color]
3) 执行 cd /etc,进入/etc 目录下
4) 执行vi hosts，修改hosts文件
[color=darkred] # Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.22.128 HadoopName hadoopName
127.0.0.1 localhost.localdomain localhost[/color]
5) 修改配置文件
core-site.xml
[color=green]<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.22.128:9000</value>
</property>
</configuration>[/color]
hdfs-site.xml
[color=green]<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>[/color]
mapred-site.xml
[color=green]<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.22.128:9001</value>
</property>
</configuration>[/color]
Masters及Slaves文件都更改为：
[color=darkred]192.168.22.128[/color]

五、 问题总结
1. Win7下的Eclipse一直连接Hadoop未连接上
[color=darkred]CentOS防火墙的关闭，关闭其服务即可：
查看CentOS防火墙信息：/etc/init.d/iptables status
关闭CentOS防火墙服务：/etc/init.d/iptables stop[/color]
[/size]