云计算（三）——Hadoop安装配置

一、内容

1. 安装Hadoop
2. 配置Hadoop
3. 格式化HDFS
4. 验证MapReduce程序

二、步骤

把Hadoop安装压缩包复制到master虚拟机根目录下

解压缩

命令：tar –xvf hadoop-2.5.2.tar.gz

配置环境变量hadoop-env.sh

cd /etc/Hadoop  (保证在hadoop2.5.2目录中)

vi hadoop-env.sh

 

 

配置环境变量yarn-env.sh

vi  yarn-env.sh

配置核心组件core-site.xml

命令：vi  core-site.xml

配置文件系统hdfs-site.xml

vi hdfs-site.xml

 

配置文件系统yarn-site.xml

命令：vi yarn-site.xml

 

配置计算框架mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

 

配置slaves文件

vi slaves

复制到slave上

命令：scp -r /hadoop-2.5.2 root@slave1:~/  (注意文件夹路径)

命令：scp -r /hadoop-2.5.2 root@slave2:~/  (注意文件夹路径)

配置hadoop启动系统环境变量

cd

vi .bash_profile

export HADOOP_HOME=/root/hadoop-2.5.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

 

格式化文件系统

命令：Source .bash_profile

命令：hdfs namenode –format

 

 

启动Hadoop

命令：cd Hadoop-2.5.2/sbin

命令：./start-all.sh

命令：jps

 

在slave上进行相同的操作

1. 配置Hadoop启动系统环境变量
2. 格式化文件系统
3. 启动hadoop
4. 命令：jps 结果如下：

 

 

 

启动Hadoop集群：

命令：cd Hadoop-2.5.2/sbin

命令：./start-all.sh

实例运行：

命令：hadoop jar ~/hadoop-2.5.2/share/hadoop/mapreduce

/hadoop-mapreduce-examples-2.5.2.jar pi 10 10

打开浏览器，在地址栏中输入 http://master:50070/