1.事前准备
(1)相关配置信息(仅供参考)
ubuntu版本为16.04服务器版,服务器配置为1核2GB,hadoop版本我选择hadoop3.1.2
(2)相关资源获取
服务器可选择国内的腾讯云和阿里云,也可以选择华为云,任君喜好。
系统的话在服务器配置过程中会让选择安装哪个系统,新手推荐ubuntu,其他系统操作起来会有所不同。
安装前请更新ubuntu有关软件,如果以下操作有部分命令显示为无,请自行安装。
hadoop则访问官网https://hadoop.apache.org/releases.html进行选择,选择细节如下:
由于本人是学生,参考书上介绍的也是二进制版hadoop,故选择二进制下载,点击binary,跳转至如下界面:
随意选择链接,以速度快为优。
个人建议直接在服务器上访问链接下载,即:
wget https://xxx(所选择的链接)
然后解压该压缩文件,使用命令:
tar -xzvf xxx.tar.gz(所下载文件)
然后cd hadoop-x.x.x(x为版本号)访问,文件夹结构应该如下:
.
├── bin
├── etc
├── include
├── lib
├── libexec
├── LICENSE.txt
├── logs
├── NOTICE.txt
├── README.txt
├── sbin
└── share
如果是这个树形结构则正确。
然后考虑到hadoop运行需要java支持且ubuntu预装了java,这边则跳过java下载安装,直接进入环境变量配置(若无java,请百度ubuntu安装java作参考):
export JAVA_HOME=/usr/lib/jvm/xxx(已预装情况下可能有两个文件夹,选择其中一个就好,一个不行换另一个,若未预装,则自行安装并将所解压路径填入此处)
注意:export注册的是当前终端的环境变量,一旦关闭终端,环境变量就会失效,需要全局或是永久请上网自查。
环境变量配置好后,则测试是否安装成功:
在hadoop文件夹下运行:
./bin/hadoop version
若提示如下,则安装成功:
Hadoop 3.1.2
Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
Compiled by sunilg on 2019-01-29T01:39Z
Compiled with protoc 2.5.0
From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
This command was run using /home/hadoop/hadoop-3.1.2/share/hadoop/common/hadoop-common-3.1.2.jar
以上,即为ubuntu16.04安装hadoop 3.1.2的过程。
有问题可在评论区提出。