hadoop集群之配置（三）

1.hadoop集群配置

1.1 配置Hadoop集群主节点

首先进去hadoop目录下，

 cd /export/servers/

1.1.1修改hadoop-env.sh文件

进去hadoop的文件下

 cd etc/hadoop/

vi hadoop-env.sh

修改JAVA_HOME为以下值
将JAVA_HOME指定到自己安装的jdk上

/export/servers/jdk

1.1.2 修改core-site.xml文件

指定文件系统类型和临时存储文件的目录

 vi core-site.xml

添加到中，不要重复

<configuration>
        <property>
                 <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>
</configuration>

1.1.3 修改 hdfs-site.xml 文件

 vi hdfs-site.xml 

添加文件到

<configuration>

        <property>
                 <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>
</configuration>

1.1.4 修改mapred-site.xml 文件

可能目录下没有该文件
我们需要复制一份重命名为它

 vi mapred-site.xml

添加配置

<configuration>
         <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

1.1.5 修改yarn-site.xml 文件

vi yarn-site.xml 

添加配置

<configuration>

        <property>
                 <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

1.1.6 配置从节点

 vi slaves 

将里面的内容清空
添加以下内容

hadoop01
hadoop02
hadoop03

1.2 将集群主节点的配置文件分发到其他节点

用hadoop01下/etc/profile 替换掉 hadoop02:/etc/profile
所以在hadoop01上执行分发命令

 scp /etc/profile hadoop02:/etc/profile
 scp /etc/profile hadoop03:/etc/profile
 scp -r /export/ hadoop02:/

在hadoop02 和 hadoop03 分别执行以下命令

source /etc/profile

2. hadoop集群的测试

格式化文件系统
初次启动HDFS时，必须对主节点进行格式化处理

hdfs namenode -format

3. 启动hadoop集群

3.1 启动

个人感觉使用一键启动比较方便
所以只介绍一键启动
在主节点使用以下命令一键启动

 start-all.sh 

3.2 查看

jps命令

3.3 关闭

在主节点进行

stop-all.sh 

hadoop集群之虚拟机的搭建（一）
hadoop集群之软件安装（二）
hadoop集群之配置（三）