Hadoop全分布式搭建

文章讲述了在虚拟机环境中进行Java(如OracleJDK1.8.0_251)的安装、验证及版本切换,Hadoop的格式化和启动,以及SSH配置和网络问题的解决方案,包括免密登录设置和DNS解析问题的排查。
摘要由CSDN通过智能技术生成

ctrl+alt切换定位到物理机/虚拟机

可以用物理机截图

# 检查内存 free -h

# 检查磁盘空间 df -h

# 检查 Java 版本 java -version

需要传输jdk文件,就需要共享文件夹:挂载操作,然后,再次进入 /mnt/hgfs 查看 (注意:挂载后必须要再次进入/mnt/hgfs才能查看到共享的文件夹)

验证安装成功

使用ip addr和hostname指令获得ip地址和主机名

192.168.146.129 zyq-virtual-machine

192.168.146.130 slave1-virtual-machine

192.168.146.131 slave2-virtual-machine

ip地址ping的通

nano ~/.bashrc

export JAVA_HOME=~/Public/opt/java/jdk1.8.0_251  
export PATH=$PATH:$JAVA_HOME/bin  
export HADOOP_HOME=~/Public/opt/hadoop/hadoop-3.3.6  
export PATH=$PATH:$HADOOP_HOME/bin

source ~/.bashrc

问题:

解压安装了jdk1.8.0_251这个版本的Java,但是查看版本
~/Public/opt/java$ java -version
openjdk version “11.0.21” 2023-10-17

解决:

首先,使用以下命令添加一个新的 Java 可选项:

sudo update-alternatives --install /usr/bin/java java /path/to/your/jdk1.8.0_251/bin/java 1 

将 `/path/to/your/jdk1.8.0_251` 替换为你实际安装 Oracle JDK 1.8.0_251 的路径。

选择新的 Java 版本

然后,运行以下命令选择你刚刚添加的 Java 版本:

sudo update-alternatives --config java 

sudo -i进入root模式

exit退出

sudo -E /home/zyq/Public/opt/hadoop/hadoop-3.3.6/bin/hdfs namenode -format

格式化成功

sudo -E /home/zyq/Public/opt/hadoop/hadoop-3.3.6/sbin/start-dfs.sh

、、、、、、、、、、、、、、、、、、、分割、、、、、、、、、、、、、、、、、、

参考:Ubuntu搭建全分布式Hadoop - huhy - 博客园 (cnblogs.com)

按照这篇使用root不太容易出用户名的问题,但是如果第一次做真的有些迷惑迷茫。

重做 
192.168.146.134 master

192.168.146.133 slave1

192.168.146.135 slave2

问题:ssh设置免密登录出现permission denied问题

解决:用root身份就要额外设置root密码,而不是用用户身份的密码,无语。网上怎么没人说。

并且要查看 /etc/ssh/sshd_config 中配置: PermitRootLogin,设为yes

问题:

master ping slave2不通;ssh slave2报错ssh: Could not resolve hostname slave2: Temporary failure in name resolution

解决:

重启systemd-resolved服务:有时重启服务可以解决临时的解析问题,

systemctl restart systemd-resolved

ps:copy 公钥私钥的时候别忘了ssh-copy-id 自己。

运行start_dfs.sh之后进入网址master ip:9870

可以通过stop_dfs.sh关闭

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值