一、准备工作(root用户)
1.关闭防火墙
关闭防火墙:service iptables stop
关闭开机启动:chkconfig iptablesoff
2.创建用户
创建hadoop用户:useradd hadoop
密码:passwd hadoop
加入sudoers:vim /etc/sudoers ,在root下一行写入hadoop ALL=(ALL) ALL
二、安装JDK1.7(root用户)
1.查看已装JDK
rpm -qa |grep java
rpm -qa |grep jdk
2.卸载上一步显示的程序
rpm -e --nodeps 程序名
(如:rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
rpm -e --nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64)
2.安装JDK1.7
tar -zxf jdk-7u60-linux-x64.tar.gz 直接解压到/home/hadoop(username)/目录下
并且更改文件名字为java1.7
3.修改环境变量
修改 /etc/profile文件,在文件末尾加入以下几行:
exportJAVA_HOME=/home/hadoop/java1.7
exportJRE_HOME=/home/hadoop/java1.7/jre
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
4.使刚修改的环境变量生效
source /etc/profile
5.验证JDK是否安装成功
java -version
echo $JAVA_HOME
三、SSH无密码登录(hadoop用户)
1.生成密钥
ssh-keygen -t dsa (然后一直按回车即可,会自动生成.ssh文件夹,内有两个文件)
2.生成authorized_keys
进入/home/hadoop/.ssh目录
cat id_dsa.pub >> authorized_keys
3.给authorized_keys赋予执行权限
chmod 600authorized_keys
3.测试是否能够无密码登录本地
ssh localhost
如果不用再次输入密码,说明成功
四、安装hadoop(hadoop用户)
1.解压到指定目录(以在/home/hadoop目录为例)
tar -zxvf hadoop-2.5.1.tar.gz
2.配置文件
2.1.core-site.xml文件
在<configuration>和</configuration>之间加入如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopfile/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
2.2.hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.3.mapred-site.xml文件:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.4.文件yarn-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.5.mapred-env.sh文件
export JAVA_HOME=/home/hadoop/java1.7
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopfile/tmp
2.6.hadoop-env.sh文件
export JAVA_HOME=/home/hadoop/java1.7
exportHADOOP_PID_DIR=/home/hadoop/hadoopfile/tmp
exportHADOOP_SECURE_DN_PID_DIR=/home/hadoop/hadoopfile/tmp
2.1.core-site.xml文件
在<configuration>和</configuration>之间加入如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopfile/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
2.2.hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.3.mapred-site.xml文件:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.4.文件yarn-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.5.mapred-env.sh文件
export JAVA_HOME=/home/hadoop/java1.7
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopfile/tmp
2.6.hadoop-env.sh文件
export JAVA_HOME=/home/hadoop/java1.7
exportHADOOP_PID_DIR=/home/hadoop/hadoopfile/tmp
exportHADOOP_SECURE_DN_PID_DIR=/home/hadoop/hadoopfile/tmp
3.将hadoop加入环境变量
sudovim /etc/profile
加入如下两行
exportHADOOP_HOME=/home/hadoop/hadoop-2.5.1
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
五、启动(hadoop用户)
1.格式化namenode
hdfsnamenode -format
2.启动dfs
Start-dfs.sh
或者
hadoop-daemon.shstart namenode
hadoop-daemon.shstart datanode
通过jps能够验证是否启动成功
3.启动yarn
start-yarn.sh
输入jps验证
3.在网页端查看
输入IP:50070(例如:http://192.168.56.103:50070/)
六、运行wordcount例子(hadoop用户)
Wordcount例子在/home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce中的
hadoop-mapreduce-examples-2.5.1.jar
1.上传本地文件至hdfs
hadoop fs -put 文件 /test (如:hadoop fs -put 1 /test是将本地的文件1上传至hdfs中的/test目录下)
2.运行
hadoopjar hadoop-mapreduce-examples-2.5.1.jar wordcount /test/1 /test/output/1
注意:/test/output/1必须是不存在的目录
</pre><h2>1.查看结果</h2><p align="left"></p><pre name="code" class="html">hadoopfs -cat /test/output/1/part-r-00000