目录
背景简述
由于学校新开设的一门大数据导论课程,我需要搭建一个Hadoop集群来进行一些大数据相关的坑成设计。而在搭建集群的过程中,我参考了网上的许多教程,但是由于版本不同或是某些叙述不到位或是缺少,导致我在搭建的过程中吃了不少苦头,但最终还是成功完成搭建。完成之后,我有了自己写一片博客的想法以供后学者参考。我不能保证你按照我的做法一定能搭建成功,所以我还会讲一些我自己的解决问题的经验。在我看来,搭建成功固然重要,但你能学到更多东西才更好。
本文主要面向的读者是对于Linux系统所知甚少,并且处于对大数据的初步接触阶段。
搭建流程
建议初次学习的人各种软件尽可能选择相同的版本,尤其是HADOOP,2.X和3.X版本的环境配置存在较大的差异,本文对3.X版本不完全适用。由于更多的是在命令行操作,所以没有进行语言汉化。
1.虚拟机环境搭建及相关文件的下载
首先在VMware Workstation官网上下载软件,然后下载ubuntu系统镜像
我将所有软件都安装在F盘中便于管理,但位置可以随你心意。
然后下载Hadoop,下载JDK (下载时需要注册账户)
本人选择的都是官网或知名大学的镜像网站,也可自行选择其他路径下载,一些下载包的版本及格式建议为:ubuntu-18.04.2-desktop-amd64.iso、hadoop-2.8.5.tar.gz、jdk-8u211-linux-x64.tar.gz
至于具体安装过程,属于一键式操作,几乎不存在出故障的可能,不过多叙述。(建议虚拟机名称为master)
2.虚拟机更改下载源
虚拟机第一次启动后,可能会提示进行更新,如果没有,在所有软件里搜索software updater。
点击Settings,在ubuntu software中更改download from,选择others,找到china,展开选择一个你喜欢的下载网站,我采用的是阿里云,然后保存更改(点close就好),建议所有软件均更新至最新版。
3.配置JDK和Hadoop相关环境变量
首先将下载的文件拖放到当前用户的根目录下,并解压(右键extract here)至当前文件夹。建议所有机器上的文件放在相同的位置(此处不复制Hadoop也没问题,当时我是为了单机版测试才安装的它)
修改/etc/profile文件,在命令行中使用sudo gedit /etc/profile在文件的最后加上如下代码(命令行中密码不可见,输入后回车即可)修改后保存关闭(出现warning是正常的)。在命令行中输入source /etc/profile。
export JAVA_HOME=/home/z/jdk-12.0.1
export PATH=${
JAVA_HOME}/bin:$PATH
现在可以用java -version检查JDK是否已正常安装。
4.创建Hadoop用户
然后我们最好创建一个专门用于运行Hadoop的账户,以避免权限等诸多问题,有兴趣可自行了解。
先创建用户组hadoop,在添加用户hadoop至hadoop组(回车使用默认信息即可,最后输y)
依次输入sudo addgroup hadoopsudo adduser -ingroup hadoop hadoop