Hadoop的伪分布式安装

目录

一、实验环境

二、安装步骤

1.确定SSH是否启动

2. 设置SSH免密登录

2.1 生成公钥

2.2 将公钥的内容写入到authorized_keys文件中

2.3 测试免密登录是否成功

3.配置java环境

配置Java环境变量

 4. 安装hadoop

4.1 下载hadoop安装包

4.2 传输文件到 linux服务器

4.3 解压压缩包, 到/user/local

4.4 修改文件名:

4.5 查看hadoop版本

​编辑5.配置Hadoop（伪分布式）

5.1 修改配置文件

5.2 格式化NameNode

 5.3 添加JAVA_HOME

 5.4 开启NameNode和DataNode守护进程:

 5.5 开启yarn资源管理器

 5.6 验证

6. web页面查看

6.1 开启防火墙端口号

6.2 开启防火墙端口号

6.3 访问页面: http://IP:9870

---

一、实验环境

Windows 11

CentOS 7.6 64bit

OpenJDK-1.8.0

Hadoop-2.10.1

二、安装步骤

1.确定SSH是否启动

//查看状态
systemctl status  sshd 

2. 设置SSH免密登录

2.1 生成公钥

ssh-keygen -t rsa

 2.2 将公钥的内容写入到authorized_keys文件中

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行后确认内容写入文件成功

cat ~/.ssh/authorized_keys

2.3 测试免密登录是否成功

ssh localhost

3.配置java环境

下载JDK

yum install java-1.8.0-openjdk.x86_64

配置Java环境变量

查找Java路径

readlink -f `which java`

 设置JAVA_HOME

//设置环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64
//输出环境变量
echo $JAVA_HOME

 4. 安装hadoop

4.1 下载hadoop安装包

https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.10.1/

4.2 传输文件到 linux服务器

4.3 解压压缩包, 到/user/local

//将 Hadoop 安装到 /usr/local 目录下:

tar -zxf hadoop-2.10.1.tar.gz 

4.4 修改文件名:

mv ./hadoop-2.10.1/ ./hadoop

4.5 查看hadoop版本

/usr/local/hadoop/bin/hadoop version

5.配置Hadoop（伪分布式）

5.1 修改配置文件

切换到路径/usr/local/hadoop/etc/hadoop下，需要修改2个配置文件core-site.xml和hdfs-site.xml。

在core-site.xml <configuration></configuration>添加以下配置内容

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

再打开hdfs-site.xml, 在<configuration></configuration>中添加如下配置：

<configuration>
      <property>
              <name>dfs.replication</name>
              <value>1</value>
      </property>
      <property>
              <name>dfs.namenode.name.dir</name>
              <value>file:/usr/local/hadoop/tmp/dfs/name</value>
      </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/usr/local/hadoop/tmp/dfs/data</value>
      </property>
      <property>
              <name>dfs.webhdfs.enabled</name>
              <value>true</value>
      </property>
      <property>
              <name>dfs.namenode.http-address</name>
              <value>0.0.0.0:9870</value>
       </property>
</configuration>

5.2 格式化NameNode

cd /usr/local/hadoop

./bin/hdfs namenode -format

切换回hadoop主目录并执行NameNode的格式化（格式化成功后轻易不要再次格式化）：

 5.3 添加JAVA_HOME

修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh 文件

修改JAVA_HOME地址:

//改为自己的Java home路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64

 5.4 开启NameNode和DataNode守护进程:

/usr/local/hadoop/sbin/start-dfs.sh

 5.5 开启yarn资源管理器

/usr/local/hadoop/sbin/start-yarn.sh

 5.6 验证

输入jps, 查看进程

jps

出现以下六个, 代表启动成功

ResourceManager
DataNode
SecondaryNameNode
NameNode
Jps
NodeManager

6. web页面查看

6.1 开启防火墙端口号

6.2 开启防火墙端口号

//查询已开放的端口
firewall-cmd --zone=public --list-ports

//如果没有9870, 则开启
firewall-cmd --add-port=9870/tcp --permanent
//重载入添加的端口
firewall-cmd --reload

6.3 访问页面: http://IP:9870

出现以下页面则安装成功