由于自己第一次在Linux环境下安装Hadoop,所有安装方法均参照同行写的技术博客。
1 安装ssh,pdsh,生成密钥实现无密码登陆
官方文档推荐安装ssh和pdsh,则参照官方文档安装两者并生成密钥:
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation
由于pdsh在一般的安装技术博客中不常用,后期遇到了一些问题。
#2 安装jdk
#3 下载,验证文件,解压到/usr/local
于tar.gz中解压然后直接可以运行的程序,当然在任何地方都能运行。但是,按照FHS,解压出程序存放的位置,一般在/usr/local或者/opt。
因为FHS中话术模糊,很多人对/usr/local的目录存放有误解,详见下面链接中中外国友人对于"after first installing a FHS-compliant system"这句话的争论。
https://askubuntu.com/questions/6897/where-to-install-programs
在这个步骤之前,我还了解到有建立单独的hadoop用户和hadoop组的习惯。但官方文档没有提及,也就没有单独建立用户。直接用Ubuntu系统安装时建立的用户解压Hadoop并进行后面的配置。建立hadoop用户的技术博客在下方。
https://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
#4 配置hadoop-env.sh
https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-16-04