Hadoop集群配置

Hadoop集群配置

1.需要配置core-site.xml

[admin@hadoop1002 hadoop]$ vim core-site.xml 

编辑如下：

 <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1002:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为admin -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>admin</value>
    </property>

2.配置hdfs-site.xml

xxxxxxxxxx [admin@hadoop1002 hadoop]$ vim hdfs-site.xml

编辑如下：

<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1002:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1004:9868</value>
    </property>

3.配置yarn-site.xml

[admin@hadoop1002 hadoop]$ vim yarn-site.xml

编辑如下：

<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1003</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

4.配置mapred-site.xml

[admin@hadoop1002 hadoop]$ vim mapred-site.xml

编辑如下：

<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

5.同步以上配置

[admin@hadoop1002 etc]$ xsync hadoop

6.配置workers

[admin@hadoop1002 hadoop]$ vim workers

编辑如下：

hadoop1002
hadoop1003
hadoop1004

7.同步workers

[admin@hadoop1002 hadoop-3.1.3]$ xsync etc/

8.格式化

[admin@hadoop1002 hadoop-3.1.3]$ hdfs namenode -format

9.启动dfs

[admin@hadoop1002 hadoop-3.1.3]$ sbin/start-dfs.sh

10.在hadoop1003上启动yarn

[admin@hadoop1003 hadoop-3.1.3]$ sbin/start-yarn.sh

11.用jps查询进程如下：

hadoop1002

[admin@hadoop1002 hadoop-3.1.3]$ jps
4770 NodeManager
4436 DataNode
4325 NameNode
4875 Jps

hadoop1003

[admin@hadoop1003 hadoop-3.1.3]$ jps
3496 NodeManager
3385 ResourceManager
3197 DataNode
3839 Jps

hadoop1004

[admin@hadoop1004 hadoop-3.1.3]$ jps
3137 DataNode
3478 Jps
3241 SecondaryNameNode
3358 NodeManage

以上就是hadoop集群配置的所有操作，如有问题请加以评论，我尽力帮忙解决。