集群Linux各个节点的配置------Hadoop环境配置

2个env文件：hadoop-env.sh,yarn-env.sh

4个site文件:core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

具体配置我们来看看官网：Apache Hadoop

可以按这里的步骤操作

前面我们都安装好了

在hadoop-env.sh中加入JAVA_HOME环境变量  路径根据自己之前安装JAVA的进行设置

使用vi hadoop-env.sh    在编辑器下shift+冒号

：set nu       进行行号显示，添加java环境变量，完成后hadoop就具备了运行的环境支持

YARN是一个hadoop集群资源管理的功能模块，也依赖java。yarn-env.sh配置，这样YARN也就是具备了运行环境

配置core-site.xml

hdfs-site.xml: 一主两从   这里的数只能写小于等于从机的数量

mapred-site.xml

yarn-site.xml

  <!--yarn.nodemanager.aux-services是NodeManager上运行的附属服务，其值需要配置成mapreduce_shuffle,才可以运行MapReduce程序-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!--yarn.resourcemanager.address是ResourceManager对客户端暴露的访问地址，客户单通过该地址向ResourceManager提交或者结束MapReduce程序-->
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:18040</value>
        </property>
        <!--对ApplicationMaster暴露的访问地址，通过该地址向ResourceManager申请MapReduce应用程序运行时所需资源，以及程序结束后对资源的释放 -->
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:18030</value>
        </property>

        <!--ResourceManager对NodeManger暴露的访问地址，NodeManager通过该地址向ResourceManger发送心跳数据，汇报资源使用情况 领取分配给的任务等 -->
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:18025</value>
        </property>

        <!--是ResourceManager对管理员admin暴露的访问地址，管理员可通过该访问地址向ResourceManager发送管理命令 -->
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:18141</value>
        </property>
        <!--提供给用户查看正在运行的MapReduce程序的进度和状态WEB UI系统的访问地址，通过该地址在浏览器中查看应用程序的运行状态信息-->
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:18088</value>
        </property>

配置从机设定配置文件 workers文件

cd /usr/hadoop/hadoop-3.3.0/etc/hadoop

 保存即可

在slave1，slave2上也进行这些设定