Ubantu20.04.4安装Hadoop3.1.3单机部署

coisini.cn

已于 2024-03-29 22:30:27 修改

阅读量3k

点赞数 2

文章标签： linux ubuntu hadoop 大数据

于 2022-03-28 09:12:30 首次发布

本文链接：https://blog.csdn.net/qq_44870331/article/details/123785949

版权

Hadoop3.1.3单机部署笔记记录

条件：
Ubantu20.04.4
jdk-8u261
hadoop3.1.3

ubuntu-20.04.4-live-server 安装步骤
jdk-8u261 安装步骤

1. 安装SSH，配置SSH无密码登录

sudo apt-get install openssh-server

进入 ~/.ssh/ 目录,若不存在，需要执行一次 ssh localhost
cd ~/.ssh/
按四下回车
ssh-keygen -t rsa
授权
cat ./id_rsa.pub >> ./authorized_keys
使命令登陆本机：
ssh localhost 输入 yes
然后按提示输入主机密码，exit可退出当前主机
下一次连接就不用输入密码了

2. 上传或下载hadoop-3.1.3.tar.gz

至目录 /usr/local/
官网下载：hadoop3.1.3
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

3. 解压

tar -zxvf hadoop-3.1.3.tar.gz

4. 重命名

mv hadoop-3.1.3 hadoop

5. 修改文件权限

sudo chown -R axz /usr/local/hadoop

6. 进入hadoop目录

cd /usr/local/hadoop

7. 验证hadoop版本

./bin/hadoop version
3.1.3

8. 配置env文件修改JDK路径

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加：export JAVA_HOME=/usr/local/java/jdk1.8.0_261
jdk
Esc :wq 保存并退出

9. 修改核心组件文件

vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

10. 修改文件系统文件

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

11. 配置完成，执行 NameNode 的格式化:

进入目录cd /usr/local/hadoop

格式化命令./bin/hdfs namenode -format
gsh

12. root用户启动hadoop需要的配置

在start-dfs.sh，stop-dfs.sh 两个文件顶部添加以下参数

vi /usr/local/hadoop/sbin/start-dfs.sh
vi /usr/local/hadoop/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh，stop-yarn.sh两个文件顶部添加以下参数
vi /usr/local/hadoop/sbin/start-yarn.sh
vi /usr/local/hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

13. 开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

14. 查看进程

安装插件：sudo apt install openjdk-8-jdk-headless
查看进程：jps
启动成功
关机前一定要关闭hadoop,不然下回启动会报错，需要重新格式化，数据就丢失了
关闭命令./sbin/stop-dfs.sh

下次启动 hadoop 时，不用NameNode 的初始化，
只需要运行 ./sbin/start-dfs.sh 就可以！

// TODO Hadoop启动脚本配置

—搞定！

15. 启动失败相关问题以及解决方案记录

问题1：

解决：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key

问题2：
jdk
解决：
配置env文件
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加jdk路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_261

问题3：
root
root用户启动hadoop报错：
解决：看第 12. root用户启动需要的配置

Ubantu20.04.4安装Hadoop3.1.3单机部署暂时到这，结束…