Kudu（二）- 安装（一） - 准备初始环境

目录

1.初始化环境

1.1 安装虚拟机

1.2 安装 CentOS 6.9

1.3 集群规划

1.4 配置时间同步服务

1.5 配置主机名

1.6 关闭 SELinux

1.7 关闭防火墙

1.8 配置三台节点的免密登录

1.9 安装 JDK

1.10 重启

---

导读

因为 Kudu 经常和 Impala 配合使用, 所以我们也要安装 Impala

但是又因为 Impala 强依赖于 Hive 的 MetaStore, 所以 Hive 也需要安装

又因为 Hive 依赖 HDFS, 所以 Hadoop 也需要安装

并且 Impala 是 CDH 的 产品, 所以强依赖 CDH 版本的 Hive 和 HDFS, 所以我们需要安装 CDH 版本的 Hadoop, Zookeeper, Hive, 既然都要重新搞, 所以就放弃原来的虚拟机, 重新部署一套新的即可, 这样最节省时间

1. 创建虚拟机准备初始环境

2. 安装 Zookeeper

3. 安装 Hadoop

4. 安装 MySQL

5. 安装 Hive

6. 安装 Kudu

7. 安装 Impala

1.初始化环境

导读

之前的环境中已经安装了太多环境, 所以换一个新的虚拟机, 从头开始安装

1. 创建虚拟机

2. 安装系统

3. 复制三台虚拟机

4. 配置时间同步服务

5. 配置主机名

6. 关闭 SELinux

7. 关闭防火墙

8. 重启

9. 配置免密登录

10. 安装 JDK

1.1 安装虚拟机

（1）在 VmWare 中点击创建虚拟机

（2）打开向导

（3）设置硬件兼容性

（4）指定系统安装方式

（5）指定系统类型

（6）指定虚拟机位置

（7）处理器配置

（8）内存配置

（9）选择网络类型, 这一步非常重要, 一定要配置正确

（10）选择 I/O 类型

（11）选择虚拟磁盘类型

（12）选择磁盘创建方式

（13）创建新磁盘

（14）指定磁盘文件位置

（15）终于, 虚拟机创建好了

1.2 安装 CentOS 6.9

1. 为虚拟机挂载安装盘

   

2. 选择安装盘

   

3. 开启虚拟机

   

4. 进入 CentOS 6 的安装

   

5. 跳过磁盘选择

   

6. 选择语言

   

7. 选择键盘类型

   

8. 选择存储设备类型

   

9. 清除数据

   

10. 主机名

    

11. 选择时区, 这一步很重要, 一定要选

    

12. 设置 root 账号, 密码最好是统一的, 就 hadoop 吧

    

13. 选择安装类型

    

14. 选择安装软件的类型

    

15. 安装完成, 终于不用复制图片了, 开心

    

1.3 集群规划

HostName	IP
cdh01.itcast.cn	192.168.169.101
cdh02.itcast.cn	192.168.169.102
cdh03.itcast.cn	192.168.169.103

已经安装好一台虚拟机了, 接下来通过复制的方式创建三台虚拟机

1. 复制虚拟机文件夹(Ps. 在创建虚拟机时候选择的路径)

   

2. 进入三个文件夹中, 点击 vmx 文件, 让 VmWare 加载

   

3. 为所有的虚拟机生成新的 MAC 地址

   

4. 确认 vmnet8 的网关地址, 以及这块虚拟网卡的地址

5. 修改网卡信息

   进入每台机器中, 修改 70-persistent-net.rules

   vi /etc/udev/rules.d/70-persistent-net.rules

   

6. 更改 IP 地址, 修改文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0, 注意: 1. 网关地址要和 vmnet8 的网关地址一致, 2. IP 改为 192.168.169.101

   

1.4 配置时间同步服务

在几乎所有的分布式存储系统上, 都需要进行时钟同步, 避免出现旧的数据在同步过程中变为新的数据, 包括 HBase, HDFS, Kudu都需要进行时钟同步, 所以在一切开始前, 先同步一下时钟, 保证没有问题

时钟同步比较简单, 只需要确定时钟没有太大差异, 然后开启 ntp 的自动同步服务即可

yum install -y ntp
service ntpd start

同步大概需要 5 - 10 分钟, 然后查看是否已经是同步状态即可

ntpstat

最后在其余两台节点也要如此配置一下

1.5 配置主机名

配置主机名是为了在网络内可以通信

1. 修改 /etc/sysconfig/network 文件, 声明主机名

   # 在三个节点上使用不同的主机名
   HOSTNAME=cdh01.itcast.cn

2. 修改 /etc/hosts 文件, 确定 DNS 的主机名

   127.0.0.1 cdh01.itcast.cn localhost cdh01
   
   192.168.169.101 cdh01.itcast.cn cdh01
   192.168.169.102 cdh02.itcast.cn cdh02
   192.168.169.103 cdh03.itcast.cn cdh03

3. 在其余的两台机器中也要如此配置

1.6 关闭 SELinux

修改 /etc/selinus/config 将 SELinux 关闭

最后别忘了再其它节点也要如此配置

1.7 关闭防火墙

执行如下命令做两件事, 关闭防火墙, 关闭防火墙开机启动

service iptables stop
chkconfig iptables off

最后别忘了再其它节点也要如此配置

1.8 配置三台节点的免密登录

SSH 有两种登录方式

1. 输入密码从而验证登录

2. 服务器生成随机字符串, 客户机使用私钥加密, 服务器使用预先指定的公钥解密, 从而验证登录

所以配置免密登录就可以使用第二种方式, 大概步骤就是先在客户机生成密钥对, 然后复制给服务器

# 生成密钥对
ssh-keygen -t rsa

# 拷贝公钥到服务机
ssh-copy-id cdh01
ssh-copy-id cdh02
ssh-copy-id cdh03

然后在三台节点上依次执行这些命令

1.9 安装 JDK

安装 JDK 之前, 可以先卸载已经默认安装的 JDK, 这样可以避免一些诡异问题

1. 查看是否有存留的 JDK

   rpm -qa | grep java

2. 如果有, 则使用如下命令卸载

   rpm -e -nodeps xx

3. 上传 JDK 包到服务器中

4. 解压并拷贝到 /usr/java 中

   tar xzvf jdk-8u192-linux-x64.tar.gz
   mv jdk1.8.0_192 /usr/java/

5. 修改 /etc/hosts 配置环境变量

   export JAVA_HOME=/usr/java/jdk1.8.0_192
   export PATH=$PATH:$JAVA_HOME/bin

6. 在剩余两台主机上重复上述步骤

1.10 重启

刚才有一些配置是没有及时生效的, 为了避免麻烦, 在这里可以重启一下, 在三台节点上依次执行命令

reboot -h now