在ubuntu系统中搭建最新版hadoop-3.0.3伪分布式集群,详细讲解每一步流程

在ubuntu系统中搭建hadoop伪分布式集群

第一步:环境准备工作
1、安装ssh服务:sudo apt-get install openssh-server
2、下载好hadoop和jdk软件包,放入指定目录。
安装ssh服务原因:一键启动集群时需要,不在输入密码,最好安装,否则需要重复输入密码

第二步:配置虚拟机环境
1、更改/etc/hostname 机器的名字

  sudo vi /etc/hostname

在这里插入图片描述
2、ifconfig查看自己的IP地址
在这里插入图片描述
3、更改机器名字和ip的对应关系
sudo vi /etc/hosts
更改内容如下:
在这里插入图片描述
5、重启执行sudo reboot
目的是为了使更改的主机名生效
已经变为hadoop
在这里插入图片描述

6、配置ssh免密登录

生成公钥和私钥

cd ~/.ssh
ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop

第二步:解压jar包
1、在opt目录下创建两个文件,一个用于存放软件,一个用于存放解压后的软件

cd /opt
sudo mkdir software  用于存放软件
sudo mkdir module  存放解压后的软件

2、改变所属用户


chown wjl:wjl  software
chown wjl:wjl  module

文件所属着,文件所属组已经改变
在这里插入图片描述
3、移动jdk、hadoop文件

mv 你的jdk  /opt/software
mv 你的hadoop  /opt/software
cd opt/software
ls -l

4、查看文件已近移动成功
在这里插入图片描述
5、解压归档文件

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/
或者参数用  -xvf  由于我的hadoop是tar结尾的
tar -xvf hadoop-3.0.3.tar -C /opt/module/

6、建立软连接

wjl@hadoop:/opt/module$  ln -s hadoop-3.0.3/    hadoop
wjl@hadoop:/opt/module$  ln -s jdk1.8.0_191/    jdk
wjl@hadoop:/opt/module$   ls -l

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值