最新hadoop3.2.1安装

1 环境准备
配置java环境,hadoop3.2.1需要jdk1.8以上,先查看系统有没有安装jdk
rpm –qa | java
如果是安装的open jdk 先卸载 yum remove openjdk
然后在华为云下载rpm包,https://repo.huaweicloud.com/java/jdk/一键安装(官网也行,但是太慢了)

rpm –ivh 安装

2 配置免密登录
把master的公匙放到sever1和server2里
(先vi /etc/hosts 确认映射关系)
在master输入ssh-keygen -t rsa

cd /root/.ssh/
进入root的隐藏文件夹ssh下

将 公钥 id_rsa.pub 放到server1 和server2的虚拟机上
Scp id_rsa.pub server1:/root
然后把id_rsa.pub追加到隐藏 /root/.ssh下的authorized_keys
cat id_rsa.pub >>/root/.ssh/authorized_keys
ssh server1 测试一下
连接成功就行

3 下载hadoop包
直接进入hadoop官网

https://www.apache.org/dyn/closer.cgi/hadoop/common
从镜像站下载对应版本的hadoop
不要使用wget,会有麻烦

4 安装hadoop
在master上创建要安装的目录,然后把tar包解压
我为了方便直接安装在根目录下
tar –zxvf hadoop-3.2.1.tar.gz /Hadoop
直接解压就行了

配置环境变量
Vi /etc/profile

Source 一下

之后进入hadoop-3.2.1/etc/hadoop

打开官网我们会看到 官网教程让我们修改 core-site.xml 和 hdfs-site.xml
我们打开这两个文件,把官网的这两个提示拷贝上去,做一点修改

fs.defaultFS
hdfs://master:9820

dfs.replication 2

然后在修改hadoop-env.sh

然后把hadoop文件拷贝到 server1 server2
scp –r /hadoop server1:/
然后任意文件下 ,格式化hdfs
hdfs namenode –format
start.-dfs.sh
jps查看节点

安装就行了

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值