Linux搭建hadoop高性能集群（二）

关于此篇

之前，我们对hadoop高性能集群的运行平台做了部署，接下来针对hadoop集群配置作以部署。关于运行平台的部署和相关软件的资料，可在相关资料一栏下，自行提取使用。

Linux系统搭建hadoop高性能集群（二）

相关软件版本

Hadoop版本：hadoop-2.7.4

第一步 Hadoop集群配置

Hadoop集群部署模式有三种分别为独立模式、伪分布模式和完全分布模式，这里我们采用完全分布模式搭建Hadoop集群。

之前我们将hadoop运行时所需要的java运行环境做了配置，接下来我们需要将hadoop-2.7.4的安装包上传至Linux系统，同样使用rz命令上传安装包，上传完成后使用如下命令解压缩安装包。

$ tar -zxvf hadoop-2.7.4.tar.gz -C /export/software/

注意：-C后跟所需要的解压路径。

解压完成后，同样使用vi /etc/profile对hadoop的环境变量做如下配置。

export HADOOP_HOME=/export/software/hadoop-2.7.4
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

注意：这里的“HADOOP_HOME=”后跟hadoop安装包的解压路径，作用是指定hadoop的文件夹。

完成后保存退出即可，之后执行source /etc/profile指令使配置文件生效。

配置完成后，在Linux命令行界面上输入hadoop version查看hadoop是否安装成功。

这里还需要对其他的主机进行如上配置。

第二步 配置Hadoop集群的主节点

首先，先进入到Hadoop解压包下的"etc/hadoop/"目录，在此目录下可使用ls命令查看各种配置文件。

修改hadoop-env.sh文件

使用vi hadoop-env.sh进入配置文件，找到JAVA_HOME参数位置，进行如下修改。

export JAVA_HOME=/export/software/jdk

这里的JAVA_HOME就是jdk的安装路径。修改完成后保存退出即可。

修改core-site.xml文件

使用vi core-site.xml进入配置文件，在最末行找到"configuration"，删去"configuration"，写入如下代码。

<configuration>
    <property>
        <name>fs.defaultFS</name> 
        <value>hdfs://hadoop01:9000</value>  <!--指定namenode地址在hadoop01上-->
    </property>
    &