hadoop装了好久没弄下来,以下是问题总结
- 按照网上的流程走,但是hadoop和java一直装不下来,后来发现是配置的时候文件的位置放错了
- 但是,在运行
hadoop-env.sh
,显示找不到JAVA-HOME的位置,后来根据网上看到的教程,在hadoop-env.sh
文件里面加上了JAVA-HOME的路径,终于可以运行了 - 但是但是,又遇到了
ssh: connect to host izwz98ds9lz port 22: Connection timed out
2020-11-13 21:01:40,534 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这两个问题,第一个问题,我找了一下,说是22端口要么是换了或者没开,需要在ssh-config
文件里面查看,并且修改
尝试过以下办法
1、
确保防火墙没有禁用22端口, 可是我ssh localhost
是可以运行的,就很迷
sudo ufw allow 22
2、ssh-config
里面改配置,不得行
3、查看hadoop日志发现 host izwz98ds9lz
这个好像对应的是我的云服务器的内网,有可能是因为这个的原因,感觉
用下面的指令可以查看
sudo vim /etc/hosts
心态崩了
第二天,先是找了一下/etc/hosts
的作用,发现只是一个域名和ip地址映射的配置表,然后想着,把这个连接不上的ip地址换成ifconfig
里面可以ssh通的ip地址,域名随便写一个
启动hadoop,显示
ECDSA key fingerprint is SHA256:o890vaV0TTeUyeTmkAb4fiLxqFf1MY9U.
Are you sure you want to continue connecting (yes/no)? yes
iZwz98dsxce9uj6bo7qs9lZ: Warning: Permanently added 'izwz98dsxceqs9lz' (ECDSA) to the list of known hosts.
2020-11-14 09:06:19,122 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
将/etc/hosts
的域名改成上面它给的,再次启动,问题解决
hadoop@iwz97qsZ:~$ jps
24673 SecondaryNameNode
24483 DataNode
24947 ResourceManager
25402 Jps
25086 NodeManager
24351 NameNode
4、第四个问题,
先是尝试这种办法https://blog.csdn.net/qq_41541801/article/details/82413776
同时,参考了这个 https://blog.csdn.net/weixin_38256474/article/details/94440838
两个链接一起并行,因为我根据第一个找日志的时候没有找到具体的警告的内容,就再找了第二个,现在,完美解决,hadoop配置完成
start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [iZwz98dsxce9uj6bo7qs9lZ]
Starting resourcemanager
Starting nodemanagers