配置Hadoop遇到的一些坑[Ubuntu 16.04, Hadoop 3.1]

坑一：

Ubuntu自带的openjdk仅有最基本的运行环境，如果需要开发环境，还需要安装jdk

sudo apt-get install openjdk-8-jdk

然后再配置相关的环境变量....

坑二：

设置本地ssh访问免密

    生成密钥

输入命令 ssh-keygen -t rsa  然后一路回车即可

    复制到公共密钥中

sudo cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

坑三：

运行start_dfs.sh的时候，仍然出现缺少几个变量的定义：

比如HDFS_DATANODE_USER

看到网上的解决方案，往start_dfs.sh和stop_dfs.sh开头加：

HDFS_DATANODE_USER=hadoop  
HADOOP_SECURE_DN_USER=hdfs  
HDFS_NAMENODE_USER=hadoop  
HDFS_SECONDARYNAMENODE_USER=hadoop 

注意，将hadoop切换为你当前使用的用户名