Spark大数据实战之三：Hadoop配置

一、Hadoop基础配置

第1步，下载安装包

网址：http://archive.apache.org/dist/hadoop/common/hadoop-2.5.2/

第2步，移动到lala主目录下，并解压

解压语句：

tar -xvf hadoop-2.5.2.tar.gz

解压后如下图所示：

第3步，配置 hadoop-env.sh

打开hadoop-env.sh，配置JDK路径

gedit /home/lala/hadoop-2.5.2/etc/hadoop/hadoop-env.sh

在文件靠前的部分找到下面一行代码：

# export JAVA_HOME=${JAVA_HOME}

将该语句修改成：

export JAVA_HOME=/usr/java/jdk1.7.0_71/

注：需要去掉#号，并按照实际Java路径进行配置

第4步，配置yarn-env.sh

打开yarn-env.sh，配置JDK路径

gedit etc/hadoop/yarn-env.sh

在文件靠前的部分找到下面一行代码：

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

将该语句修改成：

export JAVA_HOME=/usr/java/jdk1.7.0_71/

注：需要去掉#号，并按照实际Java路径进行配置

第5步，配置 core-site.xml

分别在master、slave1、slave2上切换至lala用户，然后在主目录下创建数据目录

mkdir /home/lala/hadoopdata

打开 core-site.xml文件

gedit hadoop-2.5.2/etc/hadoop/core-site.xml

复制如下代码，覆盖core-site.xml中的全部内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this fille. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lala/hadoopdata</value>
</property>
</configuration>

第6步，配置hdfs-site.xml

打开hdfs-site.xml文件

gedit hadoop-2.5.2/etc/hadoop/hdfs-site.xml

复制如下代码，覆盖hdfs-site.xml中的全部内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this fille. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第7步，配置yarn-site.xml

打开yarn-site.xmll文件

gedit hadoop-2.5.2/etc/hadoop/yarn-site.xml

复制如下代码，覆盖yarn-site.xml中的全部内容

<?xml version = 1.0?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

第8步，配置mapred-site.xml

复制/home/lala/hadoop-2.5.2/etc/hadoop/目录下的 mapred-site.xml.template 文件，另存为改目录下的mapred-site.xml

cp hadoop-2.5.2/etc/hadoop/mapred-site.xml.template hadoop-2.5.2/etc/hadoop/mapred-site.xml

打开mapred-site.xml 文件

gedit hadoop-2.5.2/etc/hadoop/mapred-site.xml 

复制如下代码，覆盖mapred-site.xml 中的全部内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第9步，配置slaves文件

打开slaves文件

gedit hadoop-2.5.2/etc/hadoop/slaves

用下面的代码替换slaves中的内容

slave1
slave2

注：此处可以给出其他两个节点的IP地址，也可以给出机器名，要求每个占一行

二、从节点配置

将master节点lala用户主目录下的hadoop-2.5.2文件夹分别复制到每个节点的lala用户目录下

scp -r hadoop-2.5.2 slave1:~/
scp -r hadoop-2.5.2 slave2:~/

三、配置系统文件

分别在master、slave1、slave2上以lala用户执行下面步骤

第1步，配置系统文件

gedit ~/.bash_profile

第2步，在打开的.bash_profile中配置环境变量

export HADOOP_HOME=/home/lala/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

第3步，使其配置生效

source .bash_profile

四、启动Hadoop集群

第1步，格式化文件系统

在master节点上执行下面格式化命令

hdfs namenode -format

注：一旦执行该语句，可能造成无法 ssh slave1，ssh slave2，所以测试下，如果不能ssh，那就需要关闭当前窗口，重新打开一个新的，然后执行下面两句，再次测试，如果都能ssh通，那么进入第2步。

# chmod 700 ~/.ssh
# chmod 600 ~/.ssh/authorized_keys

第2步，启动Hadoop

lala用户进入hadoop-2.5.2文件夹

cd /home/lala/hadoop-2.5.2

执行启动命令

sbin/start-all.sh

弹窗询问，输入yes

第3步，验证

master终端窗口执行jps指令后会出现4个进程，在slave1、slave2的终端窗口执行会出现3个进程