Ubuntu 20.04 安装hadoop 3.2.2 伪分布式集群

目录

准备

解压安装

配置hadoop

格式化HDFS

启动集群

---

准备

系统已经安装java

已经配置静态ip,

已经下载hadoop 3.2.2（可以去北外的镜像网站下载 ）

注意：整个安装过程请注意文件分配对应读写执行权限

解压安装

• 解压hadoop安装包到/opt/soft/hadoop-3.2.2目录下

　　　　sudo  tar zxvf hadoop-3.2.2 -C /opt/soft

• 配置环境变量　　

　　　　在/etc/profile文件中加入以下内容：

export JAVA_HOME=/opt/soft/java/jdk-15.0.1
export JRE_HOME=${JAVA_HOME}/jre
export HADOOP_HOME=/opt/soft/hadoop-3.2.2
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

　　　　source /etc/profile

• 　　使用hadoop version命令测试是否配置成功

　　　　

配置hadoop

　　配置文件存放在hadoop/etc/hadoop中，要修改以下几个文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

• 　　hadoop-env.sh　　

修改java 路径
　　export JAVA_HOME=${JAVA_HOME}改成export JAVA_HOME=/opt/soft/java/jdk-15.0.1

　　　　

　　　　注意：在配置文件中有提示我们怎么设置，我们一般不删除，二回选择注释它的提示。

• 　　core-site.xml　

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.8.7:9000</value>
    </property>
</configuration>

 

　　　　

　　分析：192.168.8.7是你主节点所在主机的ip，而9000为端口

• 　　hdfs-site.xml　　　

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
   </property>
   <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/soft/hadoop-3.2.2/hdfs/nn</value>
    </property>
    <property>
        <name>dfs.namenode.ch
        eckpoint.dir</name>
        <value>file:///opt/soft/hadoop-3.2.2/hdfs/snn</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///opt/soft/hadoop-3.2.2/hdfs/snn</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/soft/hadoop-3.2.2/hdfs/dn</value>
    </property>

</configuration>

 

　　　　

同时注意创建配置里的目录

mkdir -p /opt/soft/hadoop-3.2.2/hdfs/nn
mkdir -p /opt/soft/hadoop-3.2.2/hdfs/snn
mkdir -p /opt/soft/hadoop-3.2.2/hdfs/dn
mkdir -p /opt/soft/hadoop-3.2.2/hdfs/nn

• 　　mapred-site.xml

　　　　在hadoop的相关目录中没有此文件，但是有一个mapred-site.xml.template文件，将该文件复制一份为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

　　

• 　　yarn-site.xml

<configuration>
    <!-- 指定ResourceManager的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.8.7</value>
        </property>
        <!-- 指定reducer获取数据的方式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>file:opt/soft/hadoop-3.2.2/yarn_data/nm</value>
        </property>

</configuration>

 

　　　

创建目录

mkdir /opt/soft/hadoop-3.2.2/yarn_data/nm

 

格式化HDFS

　　对HDFS集群进行格式化，HDFS集群是用来存储数据的。　　　　

hdfs namenode -format

启动集群

• 　启动名称节点和数据节点　　

hdfs --daemon start namenode
hdfs --daemon start datanode

• 启动YARN资源管理器和节点管理器

yarn --daemon  start resourcemanager
yarn --daemon  start nodemanager

• 启动作业历史服务器

mapred --daemon start historyserver

• 　　jps命令查看是否启动成功

　　　　

　　

• hadoop 集群 Web页面

• yarn集群Web页面

 

 

• Jobhistory