Ubantu20.04.4安装Hadoop3.1.3单机部署

Hadoop3.1.3单机部署笔记记录


条件:
Ubantu20.04.4
jdk-8u261
hadoop3.1.3

ubuntu-20.04.4-live-server 安装步骤
jdk-8u261 安装步骤


1. 安装SSH,配置SSH无密码登录

sudo apt-get install openssh-server

进入 ~/.ssh/ 目录,若不存在,需要执行一次 ssh localhost
cd ~/.ssh/
按四下回车
ssh-keygen -t rsa
授权
cat ./id_rsa.pub >> ./authorized_keys
使命令登陆本机:
ssh localhost 输入 yes
然后按提示输入主机密码,exit可退出当前主机
下一次连接就不用输入密码了


2. 上传或下载hadoop-3.1.3.tar.gz

至目录 /usr/local/
官网下载:hadoop3.1.3
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz


3. 解压

tar -zxvf hadoop-3.1.3.tar.gz


4. 重命名

mv hadoop-3.1.3 hadoop


5. 修改文件权限

sudo chown -R axz /usr/local/hadoop


6. 进入hadoop目录

cd /usr/local/hadoop


7. 验证hadoop版本

./bin/hadoop version
3.1.3


8. 配置env文件 修改JDK路径

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加:export JAVA_HOME=/usr/local/java/jdk1.8.0_261
jdk
Esc :wq 保存并退出


9. 修改核心组件文件

vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

10. 修改文件系统文件

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>


11. 配置完成,执行 NameNode 的格式化:

进入目录cd /usr/local/hadoop

格式化命令./bin/hdfs namenode -format
gsh


12. root用户启动hadoop需要的配置

start-dfs.shstop-dfs.sh 两个文件顶部添加以下参数

vi /usr/local/hadoop/sbin/start-dfs.sh
vi /usr/local/hadoop/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.shstop-yarn.sh两个文件顶部添加以下参数
vi /usr/local/hadoop/sbin/start-yarn.sh
vi /usr/local/hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

13. 开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh


14. 查看进程

安装插件:sudo apt install openjdk-8-jdk-headless
查看进程:jps
启动成功
关机前一定要关闭hadoop,不然下回启动会报错,需要重新格式化,数据就丢失了
关闭命令./sbin/stop-dfs.sh

下次启动 hadoop 时,不用NameNode 的初始化,
只需要运行 ./sbin/start-dfs.sh 就可以!

// TODO Hadoop启动脚本配置

—搞定!


15. 启动失败相关问题以及解决方案记录

问题1:

解决:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key

问题2:
jdk
解决:
配置env文件
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加jdk路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_261

问题3:
root
root用户启动hadoop报错:
解决:看第 12. root用户启动需要的配置

Ubantu20.04.4安装Hadoop3.1.3单机部署暂时到这,结束…

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值