首先,在谷歌云上按照博客的步骤来,注意,安装的应该是java8,然后配置ssh免密(这里注意经常会断开)
还要注意java和hadoop的版本,千万不可以下载默认的java,因为不适配的java和Hadoop版本不兼容。使用下面的文件加入下面三行字来为所有用户配置hadoop环境。
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
再使用下面的命令行来使之生效,并且检查现在java的位置
[root@localhost java]# source /etc/profile
[root@localhost java]# echo $JAVA_HOME
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java
hadoop格式化namenode的时候出现“Cannot create directory …”的异常
发现javaIO没办法创建对应的目录,这里应该是linux的文件权限不够(我放在的是/usr目录下了),所以需要修改下hadoop安装位置的文件权限,在(ubuntu)终端输入:(注:sudo chown -R 【用户名】【hadoop的安装路径】)
sudo chown -R hadoop ./hadoop
然后重新格式化namenode。
出现master: g781650427@master: Permission denied (publickey),说明免密ssh没有配置好,需要重新复制拷贝移动密钥(但是为什么经常出现这个错误??)
出现slave1: datanode running as process 6848. Stop it first,说明之前start-all.sh了,需要先stop-all.sh然后再开启。