【重制版】全网最详细ubuntu虚拟机搭建hadoop+spark+zookeeper+hbase+kafka大数据环境

一、必要准备工作

1. 虚拟机软件+激活密钥（笔者推荐使用VMware 15以上版本，莫名其妙的错较少）
2. ubuntu虚拟机镜像，桌面版，命令版都可（笔者使用：ubuntu-20.04.1-live-server-amd64.iso）
3. JDK 8以上（笔者使用：jdk-8u141-linux-x64.tar）
4. xshell --> 本机可以连接虚拟机，可选择其他
5. hadoop --> 搭建hadoop环境
6. spark --> 搭建spark环境
7. zookeeper --> 搭建zookeeper环境
8. hbase --> 搭建hbase环境
9. kafka --> 搭建kafka环境
   

二、非必要准备工作（提升效率的准备）

1.notepad++ && NppFTP插件 --> 请自行百度

2.sudo 命令免密码

sudo vim /etc/sudoers

在文件的 root ALL=(ALL:ALL) ALL 下面增加以下代码(笔者用户名为：lq)

lq（你的用户名）	ALL=(ALL)NOPASSWD: ALL

3.将用户设置到 root组(笔者用户名为：lq)

usermod -g root lq(你的用户名)

说明：若命令行或者notepad++修改文件不被允许，请使用 sudo chmod xxx 文件名，赋予读写执行等权限。

三、ubuntu虚拟机的安装

1.参考链接

--->  https://ywnz.com/linuxaz/3696.html
--->  https://www.cnblogs.com/pam-sh/p/13204321.html

四、用命令设置网络

1.使用ifconfig查看网络的名称

ifconfig

2.修改文件让网络设备自动获取ip （也可以手动设置静态ip，请自行百度）

sudo vim /etc/network/interfaces

内容如下：

auto ens33
iface ens33 inet dhcp

3.然后点击虚拟机软件的‘编辑’–>‘虚拟网络编辑器’，点击‘更改设置’，选择‘VMnet8’，点击‘还原默认设置’

4.安装 ssh --> 使xshell能够连接到虚拟机

sudo apt install ssh

5.安装 lrzsz --> 使xhell能够与虚拟机上传/下载文件

sudo apt install lrzsz

五、linux服务器整体环境配置说明

主机名与ip对应
192.168.121.xx0    master
192.168.121.xx1    slave1
192.168.121.xx2    slave2
(之后使用虚拟机的服务，有可能需要配置windows的hosts文件，
按照其中的格式配置好即可。hosts文件一般在这里 C:\Windows\System32\drivers\etc)

目录说明
/usr/local/env/app  --- 软件安装目录
/usr/local/env/software  --- 软件压缩安装包
/usr/local/env/datas  --- 以后可能用到的数据上传保存目录
/usr/local/env/temp  --- 临时目录,可以存放jar包，或许用不到
/usr/local/env/work  --- namenode & datanode 创建时按要求创建

所有环境变量设置文件目录为： /etc/bash.bashrc

注：有需要的软件会在安装目录下新建 logs 或 xxx-log 文件夹,对应配置文件中的 log-dir 属性

1.涉及操作如下

1.1新建以上相关文件夹 （一行为一条命令，笔者用户名为：lq）

1. cd /usr/local
2. sudo mkdir env
3. sudo chown lq -R env/
4. cd env
5. mkdir app
6. mkdir software
7. mkdir datas
8. mkdir temp
9. mkdir work
10. ll

1.2结果

2.xshell多次使用rz命令上传软件安装包到software对应目录

1.cd /usr/local/env/software
2.rz 
3.(选择文件)等待完成
4.rz
5.(选择文件)等待完成
.....

1.结果

六、克隆虚拟机

1.完整克隆出另外两台从机，过程如下

克隆之后可能会出现的问题，请移步最后的问题集锦。

2.分别更改两台从机的hostname

sudo vim /etc/hostname

slave1内容如下

slave1

slave2内容如下

slave2

3.分别更改三台主机的hosts(前提是三台机器的ip已经知道，或者ifconfig查看到，且三台机器ip必须不同)

sudo chmod 664 /etc/hosts （默认没有读写权限，执行此行命令）

sudo vim /etc/hosts

在适当的地方添加以下内容

192.168.121.xx0 master
192.168.121.xx1 slave1
192.168.121.xx2 slave2

3.更改三台主机的hosts（效率方法）

3.1 三台主机分别执行以下代码

sudo chmod 664 /etc/hosts

3.2 用notepad++连接master主机并在 /etc/hosts 增加以下内容

192.168.121.xx0 master
192.168.121.xx1 slave1
192.168.121.x