配置Hadoop遇到的一些坑[Ubuntu 16.04, Hadoop 3.1]

坑一:

Ubuntu自带的openjdk仅有最基本的运行环境,如果需要开发环境,还需要安装jdk

sudo apt-get install openjdk-8-jdk

然后再配置相关的环境变量....

坑二:

设置本地ssh访问免密

    生成密钥

输入命令 ssh-keygen -t rsa  然后一路回车即可

    复制到公共密钥中

sudo cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

坑三:

运行start_dfs.sh的时候,仍然出现缺少几个变量的定义:

比如HDFS_DATANODE_USER

看到网上的解决方案,往start_dfs.sh和stop_dfs.sh开头加:

HDFS_DATANODE_USER=hadoop  
HADOOP_SECURE_DN_USER=hdfs  
HDFS_NAMENODE_USER=hadoop  
HDFS_SECONDARYNAMENODE_USER=hadoop 
注意,将hadoop切换为你当前使用的用户名


没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭