hadoop实践（一） hadoop-2.7.3的安装配置

1、准备环境

（1）centos6.5

（2）java1.8

（3）hadoop-2.7.3

2、安装环境

操作系统和java环境的安装不再赘述

（1）添加用户组

（2）创建用户

（3）设置用户密码

（4）设置peter用户的宿主目录

（5）同步时间

（更改时区）

（6）修改hostname

（7）配置hosts文件

（8）赋予peter用户root权限

（9）配置免秘钥登录

（创建.ssh文件夹）

（执行并连续回车三次）

（拷贝文件）

（拷贝到slave的.ssh文件夹下）

（测试）

（2）hadoop-2.7.3安装

  （1）下载稳定版本2.7.3 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/，将下载文件上传到

下，并解压文件

（2）配置环境变量

添加如下内容：

（3）在/home/peter/bigdata/hadoop-2.7.3下创建hadoop必须的目录

（4）配置core-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑core-site.xml文件，

（5）配置hdfs-site.xml文件

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑hdfs-site.xml文件，

（6）配置mapred-site.xml文件，若无此文件，（拷贝生成）

（7）配置yarn-site.xml

进入/home/peter/bigdata/hadoop-2.7.3/etc/hadoop/,编辑yarn-site.xml文件，

（8）配置hadoop-env.sh

编辑文件，在底部添加如下内容：

export HADOOP_IDENT_STRING=$USER export HADOOP_IDENT_STRING=$USER export JAVA_HOME=/usr/local/java/jdk1.8.0_40 export HADOOP_HOME=/home/peter/bigdata/hadoop-2.7.3 export HADOOP_PID_DIR=/home/peter/bigdata/pids export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（9）配置slaves文件

sudo vi slaves slave

（10）初始化hadoop

执行hadoop namenode –format格式化namenode，注意，若多次格式化namenode，则会造成namenode或datanode不能启动，原因是两者的uuid由于重新格式化后，出现了不一致。出现这种情况，删除tmp及hdfs目录后，重新格式化namenode，再次启动hadoop

（11）启动hadoop

使用start-dfs.sh ，start-yarn.sh启动hadoop软件（停止为stop-dfs.sh、stop-yarn.sh）。

在master上执行hdsf dfsadmin –report,若配置成功，出现如下信息：

转载于:https://my.oschina.net/u/2308229/blog/898778