hadoop-3.1.3伪分布式搭建，hadoop3.X.X

hadoop-3.1.3伪分布式搭建，hadoop3.X.X

---

一、hadoop-3.X.X伪分布式搭建

1.关闭防火墙

#关闭防火墙和永久关闭防火墙，在任意目录都可以输入#

systemctl stop firewalld
systemctl disable firewalld

2.配置hostsname

#在任意目录输入命令，修改主机名为hadoop1#

hostnamectl set-hostname hadoop1

3.配置hosts

#在任意目录输入命令编辑hosts#

vi /etc/hosts

4.解压jdk，hadoop 压缩包

##导入jdk和hadoop压缩包到 /usr/local 之后进入目录
##进行解压和重命名，然后在刷新一下就可以了，不会就复制命令来就可以了

[root@hadoop1 local]# cd /usr/local
[root@hadoop1 local]# tar -xvf jdk-8u281-linux-x64.tar.gz
[root@hadoop1 local]# tar -xvf hadoop-3.1.4.tar.gz 
[root@hadoop1 local]# mv hadoop-3.1.3 hadoop
[root@hadoop1 local]# mv jdk1.8.0_281 jdk

5.配置jdk和hadoop环境

##进入编辑目录
[root@hadoop1 local]# vim /etc/profile
##找个空白地方编辑以下内容，不要写在最上和内容里面，最好在最下面编辑
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

##编辑好之后wq保存退出，之后输入命令确认以下

[root@hadoop1 local]# vim /etc/profile

##用命令输入java -version 出现以下配置成功
[root@hadoop1 local]# java -version
java version "1.8.0_281"
Java(TM) SE Runtime Environment (build 1.8.0_281-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.281-b09, mixed mode)

[root@hadoop1 local]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar
[root@hadoop1 local]# 

6.免密登录

##输入下面命令一直按enter确认就可以，会出现一串秘钥
##之后输入下面命令就可以了，输入第三个命令免密登录，要输入yes输入就可以了
##不会的复制就可以，命令是全路径

[root@hadoop1 local]# ssh-keygen -t dsa
[root@hadoop1 local]# cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys 

[root@hadoop1 local]# ssh hadoop1
Last login: Tue Jul  6 15:10:08 2021 from 192.168.17.1

7.配置core-site.xml

##接下来配置hadoop文件，输入下面命令，编辑core-site.xml文件
##一定要在这两个标签里面编辑，不要找错位置了  <configuration></configuration>
[root@hadoop1 ~]# vi /usr/local/hadoop/etc/hadoop/core-site.xml

###输入以下配置文件，直接复制就可以了
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>

7.配置hdfs-site.xml

##接下来配置hadoop文件，输入下面命令，编辑hdfs-site.xml文件
##一定要在这两个标签里面编辑，不要找错位置了  <configuration></configuration>
[root@hadoop1 ~]# vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

###输入以下配置文件，直接复制就可以了

  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/hdfs/data</value>
    </property>

8.配置hadoop-env.sh

##接下来配置hadoop文件，输入下面命令，编辑hadoop-env.sh文件
##差不多在37行位置有个JAVA_HOME 目录，改成下面的
[root@hadoop1 ~]# vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

9.创建目录

##创建这两个目录，这是全路径，放心创建
[root@hadoop1 ~]# mkdir -p /usr/local/hadoop/tmp/hdfs/data
[root@hadoop1 ~]# mkdir -p /usr/local/hadoop/tmp/hdfs/name

10.格式化namenode

#格式化namenode ,输入命令不报错说明你的配置文件没有问题
##之后jps看一下你的守护进程是否成功

[root@hadoop1 ~]# hadoop namenode -format

10.启动

##启动命令，不出现报错说明你已经成功
[root@hadoop1 ~]# start-all.sh 

Starting namenodes on [hadoop1]
上一次登录：二 7月  6 15:48:42 CST 2021从 fe80::1286:87fa:7b5f:6ad6%ens33pts/1 上
Starting datanodes
上一次登录：二 7月  6 16:03:14 CST 2021pts/1 上
Starting secondary namenodes [hadoop1]
上一次登录：二 7月  6 16:03:20 CST 2021pts/1 上
Starting resourcemanager
上一次登录：二 7月  6 16:03:36 CST 2021pts/1 上
Starting nodemanagers
上一次登录：二 7月  6 16:04:06 CST 2021pts/1 上

[root@hadoop1 ~]# jps
19824 ResourceManager
19318 DataNode
20041 Jps
19194 NameNode
19514 SecondaryNameNode
19950 NodeManager
[root@hadoop1 ~]# 

11.web界面

##在浏览器输入端口  ip:50070
##冒号是英文冒号 ，ip是你自己ip 
比如  192.168.17.128:50070

出现页面说明成功

回复【hadoop伪分布式】即可下载组件