在公司工作了一段时间了,大数据平台都是公司的运维人员搭建维护的,自己也想亲自搭建一套,纯粹为了学习和提高自己,也为了以后自己研究用。公司的环境不太适合乱来,自己的就可以随意玩了。
写这个也是为了记录自己学习的过程,同时给大家提供一个参考,想要学习大数据的也可以尝试。
本文所有内容均为原创,都是自己亲自尝试成功才敢发出来的,真实有效。
先说说环境吧:
1、系统:Windows10 64位。CPU i7,16G内存。
2、虚拟机:VirtualBox。看到网上很多人都是Vmware,其实我想说,与其费尽心思去弄破解版的Vmware,还要面对各种植入病毒,破解BUG,破解后各种运行问题和缺陷,真的不如直接使用VirtualBox更好,其实对大部分人来说,功能没差多少,而且Oracle出品,最关键是免费!免费!免费!你不用花多余的心思浪费在找破解软件上,还不会搞坏你的系统。而且特别轻量,没有多余的乱七八糟的影响系统性能的东东。(说多了,我不是Oracle的员工)
3、Linux:Ubuntu 18.04 * 5个。同理,中国大部分公司生产环境都是RedHet系的,无非RedHet和CentOS。我就非要用Ubuntu。
4、免费版Xshell 6和Xftp 6 。对,又是免费的。
5、hadoop 2.8.5 。写这篇文章的时候3应该已经出了好久了。但是2还是好用的。
下面开始基本的环境准备吧。本篇内容先是如何搭建出一个5台Ubuntu虚拟机的服务器集群。
当然了,如果你的内存是8G,那么建议搭建3台虚拟机就够了。
一、安装Oracle VM VirtualBox
这个自己去百度一下官网,下载完成之后自己安装就好。简单提一下,要使用虚拟机,必须首先打开Intel虚拟化技术(现在基本CPU都支持,AMD不清楚),要进入BIOS根据自己的主板自行修改,很多主板默认是不打开的。
然后安装好之后,运行VirtualBox,界面看起来是这样的。