这一篇文章主要是对上一篇的一个补充。因为虽然上一篇写了Java程序以及MapReduce的原理等,但是如果没有成功安装hadoop的话,一切都是白搭,所以这篇文章主要记录一下Hadoop在Ubuntu上的安装。
安装环境:Vmware Workstation 15, Ubuntu 18.04
安装内容:Java jdk1.8,hadoop-2.7.1
Java jdk的安装
这个比较简单,与在Windows上安装是一样的,不过以前在官网可以直接下载,现在好像必须要用Oracle账号登录才能下载。
需要注意的就是要配置环境变量。
Hadoop的安装
Hadoop的安装是直接按着这篇文章来的,感觉质量还蛮高的。
不过伪分布式配置没有试,因为书上说第六章才用的到,到时候再说。
里面感觉有点问题的是环境变量的配置,可能会导致后面运行java程序出现问题,所以对于配置环境变量参考了另一篇文章。
简而言之就是把vim ~/.bashrc
、source ~/.bashrc
改成了sudo vim /etc/profile
,source /etc/profile
。
Hadoop下MapReduce的使用以及程序的运行
使用的命令仍旧是参照这篇文章。
运行本章中实例所需的数据使用github上官方给出的样例即可,如果想要使用更多的数据进行尝试,可以通过这个网站进行下载。