大数据平台搭建（一）：虚拟机环境配置

前言

     最近看了些hadoop相关的资料，然后想自己从零开始搭建一个大数据平台。

大数据平台架构

    1.概念性的东西还是不想多啰嗦，先上一张网上找的平台架构图，上图的目的是为了大家对整个平台架构有个宏观的认识，这个很重要，如果盲目的零碎的去研究效果很差。

    2.目标当然是整合图中所有框架和组件，但是时间可能有限，机器也有限(本机搭建)。所以，我的计划是先从最主要的hadoop入手，然后再慢慢扩展。

虚拟机环境搭建

1.VMware下载

     此处略过n个字。

2.centos7下载安装

    1.我下载的是最小的镜像版本

    2.用阿里云的吧

    3.下一步，选择镜像，自己起个虚拟机名字，默认步骤走就行，因为我已经安装完了，就不演示了，安装过程需要设置管理员密码、时区等，配置完后下一步直到安装完成即可。

3.虚拟机网络设置

    1.为什么要用NAT模式？可以设置静态IP，可以上网，可以作为windows客户端的服务器。

    2.主要设置NAT模式对应的网络，一般是VMnet8。

注意：IP一定要在同一个网段，且地址不能冲突！！！

     点这里也可以

    3.修改VMnet8的windows IP为192.168.8.88。

    4.虚拟机网络适配器

    5.测试网络

      linux ping 百度没问题

     windows下ping linux服务器也没问题

4.centos服务器的网络配置文件修改

    1.vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意：ONBOOT设置为yes，因为centos7默认网卡是关闭的

    2.修改主机名和ip映射，这个要重启服务器

     vim etc/hostname #hadoop201

     vim etc/hosts #192.168.8.201 hadoop201

至此，已完成NAT模式下Linux服务器中 指定静态IP 和 上网 的目的，有网之后利用yum可以安装任意插件了，比如vim， lrzsz，ntp(同步网络时间)，openssh-server,openssh-clients等。

---

5.安装JDK8，配置环境变量

    1.vim /etc/profile

     2.验证

6.关闭防火墙，同步网络时间

    systemctl stop firewalld.service #停止firewall

    systemctl disable firewalld.service #禁止firewall开机启动

    firewall-cmd --state #查看默认防火墙状态

    ntpdate pool.ntp.org #同步网络时间

    hwclock -w #将当前时间和日期写入BIOS,避免重启后失效

注意：生成环境上，肯定是要创建hadoop用户，我们这里不再增加创建用户的模块，为了简单好理解。如果是初学者，建议用root用户搞。

至此，单个节点的centos服务器的基本配置就全部完成了，以后如果再缺少插件，请用yum自行安装吧。

---

7.克隆集群节点(我们还需要4个节点)

    1.201这个服务器我们已经安装好了，那么就要为集群准备其他几个节点，直接克隆201即可。右键管理–>克隆–>其他都下一步，下面这里选择完整克隆

    2.克隆完成后，检查各节点配置并修改，包括网卡、主机名及映射等信息。5个节点的hosts文件全部改为如下：

8.设置ssh免密登陆

    1. cd ~ 根目录下生成rsa 非对称加密密钥 ssh-keygen -t rsa， ls -la查看如果没有.ssh文件请mkdir。

    2.五个节点执行ssh-copy-id hadoop201 把各自的公钥发送到hadoop201的授权文件 authorized_keys中；

    3.然后把hadoop201 的authorized_keys文件拷贝到其他节点，完成5个节点的相互授权，查看hadoop201的授权文件中是否都包含了所有节点的公钥

    4.将.ssh文件拷贝到其他节点

    scp -r .ssh/authorized_keys hadoop@hadoop202:~/.ssh/

    scp -r .ssh/authorized_keys hadoop@hadoop203:~/.ssh/

    scp -r .ssh/authorized_keys hadoop@hadoop204:~/.ssh/

     scp -r .ssh/authorized_keys hadoop@hadoop205:~/.ssh/

    5.设置权限，所有节点执行：chmod 700 .ssh

    6.测试ssh免密登陆

    

---

总结：

     本文主要讲了虚拟机的配置和centos服务器的配置，为下一步集群搭建做好了准备。正常情况下这些工作应该由运维的同事来做，由于我在自己本机搭建，所以就写一下这个过程来方便大家理解。下一章节将开始集群搭建。

大数据平台搭建（二）：hadoop HA 集群搭建