集群环境搭建

虚拟机

安装 VM VirtualBox

配置

• 加载ubantu/centOS镜像
  
• 网络配置
  
  • 网卡1为NAT
  • 网卡2为HOST-ONLY
    
  • 网卡3为桥接
  • 设置好后，在虚拟机使用ifconfig查看ip为192.xxx.xxx.xxx，在宿主机上能ping通即可。

大数据相关配置

• 创建/opt/bigdata目录，存放zookeeper及kafka等相关软件。
• 创建/data目录，存放大数据产生的一些文件以及日志。
• 升级apt, 安装vim, net-tools, software-properties-common, ppa, python, jre, headless, openssh

sudo apt upgrade -y
sudo apt install vim net-tools -y
sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa(用于安装python)
sudo apt install python3.8 -y          // python3  验证成功
sudo apt install default-jre -y
sudo apt install openjdk-11-jdk-headless -y(使用jps)  // java --version  验证成功
sudo apt install openssh-server -y   // systemctl status ssh  验证ssh成功

复制虚拟机

通过virtualbox复制虚拟机，为所有网卡重新生成MAC地址。

hosts配置

让三台虚拟机之间能够通信。

sudo vim /etc/hostname    // 修改hostname(复制虚拟机后hostname需要手动修改)
sudo vim /etc/hosts       // 配置主机名与ip(每一台都要，如下图)

hosts文件中配置项：

最后如果能够ping通其他的虚拟机，说明成功，之后 重启虚拟机。

ssh免密登录

通过虚拟机终端命令ssh hostname实现 切换虚拟机 的目的。

// 为每台虚拟机生成ssh密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
// 在每台虚拟机的authorized_keys文件中添加生成的三个虚拟机的密钥(如下图)。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

authorized_keys中密钥：

效率配置

无界面启动

sudo vi /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash 3"
关机后, virtualbox 无界面启动。

终端工具terminus

通过terminus可以在windows主机上连接linux虚拟机终端，而不用非得进入虚拟机的终端。

不常见问题

在删除原有VirtualBox Host-Only虚拟网卡并重新添加后，虚拟机可能会无法启动，出现以下错误

Failed to open/create the internal network ‘HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter’ (VERR_INTNET_FLT_IF_NOT_FOUND).
Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND).

而且，网络连接中会显示重新创建虚拟网卡对应的设备名为“……Adapter #2”
解决办法：
在设备管理器中找到虚拟网卡对应的设备，禁用设备并重新启用即可。