在ubuntu系统中搭建hadoop伪分布式集群
第一步:环境准备工作
1、安装ssh服务:sudo apt-get install openssh-server
2、下载好hadoop和jdk软件包,放入指定目录。
安装ssh服务原因:一键启动集群时需要,不在输入密码,最好安装,否则需要重复输入密码
第二步:配置虚拟机环境
1、更改/etc/hostname 机器的名字
sudo vi /etc/hostname
2、ifconfig查看自己的IP地址
3、更改机器名字和ip的对应关系
sudo vi /etc/hosts
更改内容如下:
5、重启执行sudo reboot
目的是为了使更改的主机名生效
已经变为hadoop
6、配置ssh免密登录
生成公钥和私钥
cd ~/.ssh
ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop
第二步:解压jar包
1、在opt目录下创建两个文件,一个用于存放软件,一个用于存放解压后的软件
cd /opt
sudo mkdir software 用于存放软件
sudo mkdir module 存放解压后的软件
2、改变所属用户
chown wjl:wjl software
chown wjl:wjl module
文件所属着,文件所属组已经改变
3、移动jdk、hadoop文件
mv 你的jdk /opt/software
mv 你的hadoop /opt/software
cd opt/software
ls -l
4、查看文件已近移动成功
5、解压归档文件
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module/
或者参数用 -xvf 由于我的hadoop是tar结尾的
tar -xvf hadoop-3.0.3.tar -C /opt/module/
6、建立软连接
wjl@hadoop:/opt/module$ ln -s hadoop-3.0.3/ hadoop
wjl@hadoop:/opt/module$ ln -s jdk1.8.0_191/ jdk
wjl@hadoop:/opt/module$ ls -l