Ubuntu 18.04 Hadoop 2.7.3 版本安装备忘

ubuntu源替换为 aliyun 的源

略

安装jdk

sudo apt install openjdk-8-jdk

java -version 验证安装成功

新增JAVA_HOME环境变量

在 ~/.bashrc 文件中增加一行

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

然后在命令行执行 source ~/.bashrc 使上面这一行生效
 

SSH Server 安装

略

Hadoop 安装包下载

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

下载速度很慢，最后在csdn上找到资源进行的下载

tar zxvf hadoop.tar.gz

注意：在CSDN这种非官网渠道下载的包，下载以后一定要用md5sum 确认一下文件是否和官网上的md5sum 一致。避免一些奇怪的问题。

Hadoop配置

参考：http://dblab.xmu.edu.cn/blog/install-hadoop/

本文进行的伪分布式的配置

错误记录

JAVA_HOME未配置

cannot create directory

core-site.xml 和 hdfs-site.xml 中配置的目录不存在导致的。修改成已存在的目录即可。

connect to host localhost port 22

ssh server 未安装，按http://dblab.xmu.edu.cn/blog/install-hadoop/ 文档安装即可

start dfs 时提示 JAVA_HOME is not set

将etc/hadoop-env.sh 中的 export JAVA_HOME 改为自己电脑中的 JDK 的绝对路径可解决

启用成功输出

JPS 查看三个节点

WEB 浏览器  localhost:50070 查看状态