配置Hadoop遇到的一些坑[Ubuntu 16.04, Hadoop 3.1]

坑一:

Ubuntu自带的openjdk仅有最基本的运行环境,如果需要开发环境,还需要安装jdk

sudo apt-get install openjdk-8-jdk

然后再配置相关的环境变量....

坑二:

设置本地ssh访问免密

    生成密钥

输入命令 ssh-keygen -t rsa  然后一路回车即可

    复制到公共密钥中

sudo cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

坑三:

运行start_dfs.sh的时候,仍然出现缺少几个变量的定义:

比如HDFS_DATANODE_USER

看到网上的解决方案,往start_dfs.sh和stop_dfs.sh开头加:

HDFS_DATANODE_USER=hadoop  
HADOOP_SECURE_DN_USER=hdfs  
HDFS_NAMENODE_USER=hadoop  
HDFS_SECONDARYNAMENODE_USER=hadoop 
注意,将hadoop切换为你当前使用的用户名


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页