Hadoop2.5.1伪分布式安装记录，Centos6.4系统，wordcount运行测试

一、准备工作（root用户）

1.关闭防火墙

关闭防火墙：service iptables stop
关闭开机启动：chkconfig iptablesoff

2.创建用户

创建hadoop用户：useradd hadoop
密码：passwd hadoop
加入sudoers：vim /etc/sudoers ，在root下一行写入hadoop  ALL=(ALL)       ALL

二、安装JDK1.7（root用户）

1.查看已装JDK

rpm -qa |grep java
rpm -qa |grep jdk

2.卸载上一步显示的程序

rpm -e --nodeps  程序名                           
（如：rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
rpm -e --nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64）

2.安装JDK1.7

tar  -zxf  jdk-7u60-linux-x64.tar.gz    直接解压到/home/hadoop（username）/目录下
并且更改文件名字为java1.7

3.修改环境变量

修改 /etc/profile文件，在文件末尾加入以下几行：
exportJAVA_HOME=/home/hadoop/java1.7
exportJRE_HOME=/home/hadoop/java1.7/jre
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.使刚修改的环境变量生效

source /etc/profile

5.验证JDK是否安装成功

java -version
echo $JAVA_HOME

三、SSH无密码登录（hadoop用户）

1.生成密钥

ssh-keygen -t dsa （然后一直按回车即可，会自动生成.ssh文件夹，内有两个文件）

2.生成authorized_keys

进入/home/hadoop/.ssh目录
cat id_dsa.pub >> authorized_keys

3.给authorized_keys赋予执行权限

chmod 600authorized_keys         

3.测试是否能够无密码登录本地

ssh localhost
如果不用再次输入密码，说明成功

四、安装hadoop（hadoop用户）

1.解压到指定目录（以在/home/hadoop目录为例）

tar -zxvf hadoop-2.5.1.tar.gz

2.配置文件

2.1.core-site.xml文件

在<configuration>和</configuration>之间加入如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
 
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopfile/tmp</value>
</property>
 
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
2.2.hdfs-site.xml文件

<configuration>
    <property>
       <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>       
2.3.mapred-site.xml文件：

<property>
<name>mapreduce.framework.name</name> 
<value>yarn</value>   
</property>
2.4.文件yarn-site.xml:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
 
2.5.mapred-env.sh文件

export JAVA_HOME=/home/hadoop/java1.7
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopfile/tmp
2.6.hadoop-env.sh文件

export JAVA_HOME=/home/hadoop/java1.7
exportHADOOP_PID_DIR=/home/hadoop/hadoopfile/tmp
exportHADOOP_SECURE_DN_PID_DIR=/home/hadoop/hadoopfile/tmp
 

3.将hadoop加入环境变量

sudovim /etc/profile
加入如下两行
exportHADOOP_HOME=/home/hadoop/hadoop-2.5.1
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

五、启动（hadoop用户）

1.格式化namenode

hdfsnamenode -format

2.启动dfs

Start-dfs.sh

或者

 
hadoop-daemon.shstart namenode
hadoop-daemon.shstart datanode

 

通过jps能够验证是否启动成功

3.启动yarn

start-yarn.sh
输入jps验证

3.在网页端查看

输入IP:50070（例如：http://192.168.56.103:50070/）

六、运行wordcount例子（hadoop用户）

Wordcount例子在/home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce中的

hadoop-mapreduce-examples-2.5.1.jar

1.上传本地文件至hdfs

hadoop fs -put 文件 /test （如：hadoop fs -put 1 /test是将本地的文件1上传至hdfs中的/test目录下）

2.运行

hadoopjar hadoop-mapreduce-examples-2.5.1.jar wordcount /test/1 /test/output/1

注意：/test/output/1必须是不存在的目录

</pre><h2>1.查看结果</h2><p align="left"></p><pre name="code" class="html">hadoopfs -cat /test/output/1/part-r-00000