Hadoop安装

最爱胡萝卜哦

已于 2023-02-19 22:57:35 修改

阅读量103

点赞数

文章标签： hadoop hdfs 大数据 Powered by 金山文档

于 2023-02-19 21:34:31 首次发布

本文链接：https://blog.csdn.net/m0_60212259/article/details/129115169

版权

1：解压目录&配置路径

2：配置分布式集群环境

需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件。

slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml【红颜色需要特别注意和自己电脑保持一致】

workers:

此文件记录的是将要作为 Datanode 节点的名字。将 hadoop1，hadoop2主机名字加入进去，如果想让 hadoop1节点作为 Namenode的同时也作为 Datanode。

core-site.xml

<configuration>
        <property>
               <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value> 
        </property>
        <property>
               <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop-3.3.4/tmp</value>
                <description>Abase forother temporary directories.</description>
        </property>
</configuration>

hdfs-site.xml

这文件记录备份相关。dfs.replication 一般设为3，我们有俩个 slave 节点，因此可以将 dfs.replication 的值设为 3

<configuration>
        <property>
               <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop1:50090</value>
        </property>
        <property>
               <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
               <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop-3.3.4/tmp/dfs/name</value>
        </property>
        <property>
               <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop-3.3.4/tmp/dfs/data</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
               <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.address</name>
               <value>hadoop1:10020</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>hadoop1:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>hadoop1</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
</configuration>

3：配置好以后，将 master 节点上的 /usr/local/Hadoop 文件夹复制到剩余节点上。

scp -r /usr/local root@hadoop2:/use/local

用户名 IP【我做了映射】

4：启动hadoop

首次启动 Hadoop 需要将 master 节点格式化：

hdfs namenode -format # 首次运行需要执行初始化，之后不需要

start-all.sh