[size=large][align=center]Hadoop伪分布式配置[/align][/size]
[size=medium]一、 硬件类型
Linux系统:Centos6.0 虚拟机:VMware-workstation-9.0 主机:Win7
Hadoop:hadoop-1.0.4 开发工具:Eclipse
二、 SSH的配置
1. 安装SSH
[color=darkred]#yum install openssh-server[/color]
2. 设置无密码登录SSH
[color=darkred]#ssh-keygen -t dsa
#cd ~/.ssh
#cat id_dsa.pub >> authorized_keys [/color]
三、 JDK的配置
准备:下载jdk-6u27-linux-i586.bin
1. 权限问题:如果以普通用户登陆,切换到root用户,但安全起见,还是建议普通用户登陆,切换方式:
$ su – root //准备切换
2. 解压文件:
[color=darkred][color=darkred]mkdir /usr/java //在usr目录下建一个文件夹java
//进入home文件夹,假设jdk-6u27-linux-i586.bin在home文件夹下
#cd /home
#cp jdk-6u27-linux-i586.bin /usr/java //复制到java文件夹
#cd /usr/java
# ./jdk-6u27-linux-i586.bin //解压
生成文件夹jdk1.6.0_27[/color]
3. 配置环境变量:
用文本编辑器打开 /etc/profile文件加入以下几行:
[color=darkred]export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin[/color]
四、 Hadoop伪分布式
1. 解压Hadoop
[color=darkred]#tar -zxvf hadoop-1.0.4.tar.gz[/color]
2. 设置hadoop的JAVA_HOME环境变量
[color=darkred]#cd /usr/java/hadoop-1.0.4/conf/
#gedit /usr/java/hadoop-1.0.4/conf/hadoop-env.sh
#export JAVA_HOME="/usr/java/jdk1.6.0_27"[/color]
3. 设置参数
1) 执行 cd /etc/sysconfig,进入/etc/sysconfig 目录下
2) 执行 vi network,修改network文件,
[color=darkred] NETWORKING=yes
HOSTNAME=HadoopName
#把HOSTNAME改成你想要的机器名,我改成了HadoopName,然后保存[/color]
3) 执行 cd /etc,进入/etc 目录下
4) 执行vi hosts,修改hosts文件
[color=darkred] # Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.22.128 HadoopName hadoopName
127.0.0.1 localhost.localdomain localhost[/color]
5) 修改配置文件
core-site.xml
[color=green]<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.22.128:9000</value>
</property>
</configuration>[/color]
hdfs-site.xml
[color=green]<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>[/color]
mapred-site.xml
[color=green]<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.22.128:9001</value>
</property>
</configuration>[/color]
Masters及Slaves文件都更改为:
[color=darkred]192.168.22.128[/color]
五、 问题总结
1. Win7下的Eclipse一直连接Hadoop未连接上
[color=darkred]CentOS防火墙的关闭,关闭其服务即可:
查看CentOS防火墙信息:/etc/init.d/iptables status
关闭CentOS防火墙服务:/etc/init.d/iptables stop[/color]
[/size]
[size=medium]一、 硬件类型
Linux系统:Centos6.0 虚拟机:VMware-workstation-9.0 主机:Win7
Hadoop:hadoop-1.0.4 开发工具:Eclipse
二、 SSH的配置
1. 安装SSH
[color=darkred]#yum install openssh-server[/color]
2. 设置无密码登录SSH
[color=darkred]#ssh-keygen -t dsa
#cd ~/.ssh
#cat id_dsa.pub >> authorized_keys [/color]
三、 JDK的配置
准备:下载jdk-6u27-linux-i586.bin
1. 权限问题:如果以普通用户登陆,切换到root用户,但安全起见,还是建议普通用户登陆,切换方式:
$ su – root //准备切换
2. 解压文件:
[color=darkred][color=darkred]mkdir /usr/java //在usr目录下建一个文件夹java
//进入home文件夹,假设jdk-6u27-linux-i586.bin在home文件夹下
#cd /home
#cp jdk-6u27-linux-i586.bin /usr/java //复制到java文件夹
#cd /usr/java
# ./jdk-6u27-linux-i586.bin //解压
生成文件夹jdk1.6.0_27[/color]
3. 配置环境变量:
用文本编辑器打开 /etc/profile文件加入以下几行:
[color=darkred]export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin[/color]
四、 Hadoop伪分布式
1. 解压Hadoop
[color=darkred]#tar -zxvf hadoop-1.0.4.tar.gz[/color]
2. 设置hadoop的JAVA_HOME环境变量
[color=darkred]#cd /usr/java/hadoop-1.0.4/conf/
#gedit /usr/java/hadoop-1.0.4/conf/hadoop-env.sh
#export JAVA_HOME="/usr/java/jdk1.6.0_27"[/color]
3. 设置参数
1) 执行 cd /etc/sysconfig,进入/etc/sysconfig 目录下
2) 执行 vi network,修改network文件,
[color=darkred] NETWORKING=yes
HOSTNAME=HadoopName
#把HOSTNAME改成你想要的机器名,我改成了HadoopName,然后保存[/color]
3) 执行 cd /etc,进入/etc 目录下
4) 执行vi hosts,修改hosts文件
[color=darkred] # Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.22.128 HadoopName hadoopName
127.0.0.1 localhost.localdomain localhost[/color]
5) 修改配置文件
core-site.xml
[color=green]<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.22.128:9000</value>
</property>
</configuration>[/color]
hdfs-site.xml
[color=green]<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>[/color]
mapred-site.xml
[color=green]<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.22.128:9001</value>
</property>
</configuration>[/color]
Masters及Slaves文件都更改为:
[color=darkred]192.168.22.128[/color]
五、 问题总结
1. Win7下的Eclipse一直连接Hadoop未连接上
[color=darkred]CentOS防火墙的关闭,关闭其服务即可:
查看CentOS防火墙信息:/etc/init.d/iptables status
关闭CentOS防火墙服务:/etc/init.d/iptables stop[/color]
[/size]