大数据分析学习第一课 准备虚拟机环境

    2004年，葛优的电影《天下无贼》里面有一句台词，给我的印象很深刻，是一句自问自答，“21世纪什么最重要？人才！”，也是在那一年，Google公开发表了一篇论文：《简化大规模集群上的数据处理》，标志着Hadoop的计算框架MapReduce的诞生。到了2021年的今天，我想把那句话扩展一下，“21世纪什么最重要？数据和人才！”，大数据时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

    由于近两年在工作中经常处理各种数据，我逐渐意识到自己的工作，其实就是数据分析和统计，以及数据可视化应用。于是开始学习Hadoop，spark，flink实时计算等大数据生态技术，也产生了把学习经历记录下来分享给大家的想法。下面我就开始今天的第一节课，准备虚拟机环境，虚拟机用来做集群测试最好不过了。我用的是Centos7.6版本. cat /etc/redhat-release

虚拟机安装比较简单，这里就不介绍了。安装完成后需要做一些配置，因为我们测试hadoop是基于分布式集群的，所以我们配置基础的网络，防火墙，java环境后可以复制几台虚拟机做集群管理，我这里就用3台虚拟机做演示，一台master，两台slave

1、关闭防火墙

2、设置时间同步

crontab -e 打开一个新配置文档输入下面一行

*/5 * * * * ntpdate -u ntp1.aliyun.com

3、设置主机名

vi /etc/hostname

执行确认修改主机名

hostname master

4、配置hosts列表

vi /etc/hosts

将下面两行添加到/etc/hosts文件中：有更多主机依样配置
192.168.179.105 master

192.168.179.106 slave01

注意：这里master节点对应IP地址是192.168.179.105，slave对应的IP是192.168.179.106

6.安装JDK

首先查询系统自带的jdk

rpm -qa | grep java

移除系统自带jdk

 yum remove java-1.*

将准备的jdk文件上传到master主机解压

tar -xzvf jdk-8u181-linux-x64.tar.gz 
然后配置java环境变量，加入java解压的路径

vi .bash_profile

保存后 然后执行环境变量生效命令

source .bash_profile

检查java版本 java -version

7、免密钥登录配置(root用户与普通用户均需要配置)，这里我把上面配置的虚拟复制2份，105做master，106和107做slave

vi /etc/hosts

7.1 ssh免密登录

三个节点分别执行生成秘钥的命令 ssh-keygen -t rsa,在列出文件 可以看到.ssh目录

我们进入.ssh这个文件夹，如下图所示，我们看到在.ssh文件夹下有个known_host文件,这个文件是虚拟机所知道的主机名。

为了免登录，我们需要生成一对秘钥（分为公钥和私钥），就是刚才执行的：ssh-keygen -t rsa，这个命令生成2个文件 id_rsa和id_rsa.pub，分别代表私钥和公钥，  我们截取了公钥的最后一部分数据，如下图所示，我们看到有root@master105这样的信息，说明该公钥是root访问master105的公钥。

由于SSH默认情况下，自己访问自己也需要密码，因此为了实现自己访问自己不用输入密码需要自己拷给自己一份公钥，使用命令是:

cp  id_rsa.pub authorized_keys

执行后我们再看下.ssh目录下文件，已经有了authorized_keys文件

 接下来我们试一下自己免登录自己看能否成功，发现现在不需要输入密码便可以自己登录到自己了

 为了从master105免登录到slave106,slave107，我们需要把master105上的公钥拷给slave106,slave107，使用命令ssh-copy-id slave106    ssh-copy-id slave107

执行后我们在106和107服务器.ssh目录可以看到多了authorized_keys，而且确实是105的公匙文件

我们再执行ssh slave106，检查网卡 ifconfig，发现是106的ip，ssh远程免密成功了

到此3台环境就准备好了，下一节我们讲解下Hadoop集群安装与配置

总结
        感谢能看到这里的朋友😉

        本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎

        如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅

        受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

        也可以搜索关注我的微信公众号【猫头鹰数据分析】，留言交流🙏