（转载）Hadoop配置部署

Hadoop配置部署

 

每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。

下面所有的操作都使用waibao用户，切换waibao用户的命令是：

su  waibao

密码是：waibao

将软件包中的Hadoop生态系统包复制到相应waibao用户的主目录下（直接拖拽方式即可拷贝）

 

 

3.3.1 Hadoop安装包解压

进入Hadoop软件包，命令如下：

cd /home/waibao/resources/

复制并解压Hadoop安装包命令如下：

cp hadoop-2.5.2.tar.gz  ~/

cd

tar -xvf hadoop-2.5.2.tar.gz

mv hadoop-2.5.2  hadoop

cd hadoop

 

ls -l看到如下图的内容，表示解压成功：

 

 

3.3.2配置环境变量hadoop-env.sh

环境变量文件中，只需要配置JDK的路径。

vi etc/hadoop/hadoop-env.sh

在文件的靠前的部分找到下面的一行代码：

export JAVA_HOME=${JAVA_HOME}

 

将这行代码修改为下面的代码：

export JAVA_HOME=/usr/java/jdk7

然后保存文件。

 

3.3.3配置环境变量yarn-env.sh

环境变量文件中，只需要配置JDK的路径。

vi etc/hadoop/yarn-env.sh

在文件的靠前的部分找到下面的一行代码：

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

将这行代码修改为下面的代码（将#号去掉）：

export JAVA_HOME=/usr/java/jdk7

然后保存文件。

 

 

3.3.4配置核心组件core-site.xml

vi etc/hadoop/core-site.xml

用下面的代码替换core-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/waibao/hadoopdata</value>

</property>

</configuration>

 

 

3.3.5配置文件系统hdfs-site.xml

vi etc/hadoop/hdfs-site.xml

 

用下面的代码替换hdfs-site.xml中的内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

 

 

3.3.6配置文件系统yarn-site.xml

vi  etc/hadoop/yarn-site.xml

用下面的代码替换yarn-site.xml中的内容：

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

</configuration>

 

 

 

3.3.7配置计算框架mapred-site.xml

复制mapred-site-template.xml文件：

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vi  etc/hadoop/mapred-site.xml

用下面的代码替换mapred-site.xml中的内容

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

 

3.3.8 在master节点配置slaves文件

vi etc/hadoop/slaves

用下面的代码替换slaves中的内容：

slave01

slave02

slave03

 

 

3.3.9 复制到从节点

使用下面的命令将已经配置完成的Hadoop复制到从节点Slave上：

cd

scp -r hadoop  slave01:~/

scp -r hadoop  slave02:~/

scp -r hadoop  slave03:~/

 

注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。

 

 

3.4 启动Hadoop集群

下面所有的操作都使用waibao用户，切换waibao用户的命令是：

su  waibao

 

密码是：waibao

 

 

3.4.1 配置Hadoop启动的系统环境变量

该节的配置需要同时在所有主从节点（Master和各Slave）上进行操作，操作命令如下：

cd

vi  ~/.bash_profile

将下面的代码追加到.bash_profile末尾：

#HADOOP

export HADOOP_HOME=/home/waibao/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后执行命令：

source .bash_profile

 

 

3.4.2 创建数据目录

该节的配置需要同时在所有主从节点（master和各Slave）上进行操作。

在外包的用户主目录下，创建数据目录，命令如下：

mkdir  /home/waibao/hadoopdata

 

 

 

3.4.3启动Hadoop集群

1、格式化文件系统

格式化命令如下，该操作需要在Master节点上执行：

hdfs namenode -format

如果出现Exception/Error，表示出问题

 

2、启动Hadoop

使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：

cd  ~/hadoop

sbin/start-all.sh

执行命令后，提示出入yes/no时，输入yes。

 

 

3、查看进程是否启动

在Master的终端执行jps命令，在打印结果中会看到4个进程，分别是ResourceManager、Jps、NameNode和SecondaryNameNode，如下图所示。如果出现了这4个进程表示主节点进程启动成功。

 

 

在各个slave的终端执行jps命令，在打印结果中会看到3个进程，分别是NodeManager、DataNode和Jps，如下图所示。如果出现了这3个进程表示从节点进程启动成功。

 

 

4、Web UI查看集群是否成功启动

在Master上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:50070/，检查namenode 和datanode 是否正常。UI页面如下图所示。

 

 

在Master上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:18088/，检查Yarn是否正常，页面如下图所示。