hadoop安装问题总结

hadoop装了好久没弄下来,以下是问题总结

  1. 按照网上的流程走,但是hadoop和java一直装不下来,后来发现是配置的时候文件的位置放错了
  2. 但是,在运行hadoop-env.sh,显示找不到JAVA-HOME的位置,后来根据网上看到的教程,在hadoop-env.sh文件里面加上了JAVA-HOME的路径,终于可以运行了
  3. 但是但是,又遇到了
 ssh: connect to host izwz98ds9lz port 22: Connection timed out
2020-11-13 21:01:40,534 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这两个问题,第一个问题,我找了一下,说是22端口要么是换了或者没开,需要在ssh-config文件里面查看,并且修改
尝试过以下办法
1、
确保防火墙没有禁用22端口, 可是我ssh localhost是可以运行的,就很迷

sudo ufw allow 22

2、ssh-config里面改配置,不得行
3、查看hadoop日志发现 host izwz98ds9lz这个好像对应的是我的云服务器的内网,有可能是因为这个的原因,感觉
用下面的指令可以查看

sudo vim /etc/hosts

心态崩了

第二天,先是找了一下/etc/hosts的作用,发现只是一个域名和ip地址映射的配置表,然后想着,把这个连接不上的ip地址换成ifconfig里面可以ssh通的ip地址,域名随便写一个
启动hadoop,显示

ECDSA key fingerprint is SHA256:o890vaV0TTeUyeTmkAb4fiLxqFf1MY9U.
Are you sure you want to continue connecting (yes/no)? yes
iZwz98dsxce9uj6bo7qs9lZ: Warning: Permanently added 'izwz98dsxceqs9lz' (ECDSA) to the list of known hosts.
2020-11-14 09:06:19,122 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

/etc/hosts的域名改成上面它给的,再次启动,问题解决

hadoop@iwz97qsZ:~$ jps
24673 SecondaryNameNode
24483 DataNode
24947 ResourceManager
25402 Jps
25086 NodeManager
24351 NameNode

4、第四个问题,
先是尝试这种办法https://blog.csdn.net/qq_41541801/article/details/82413776
同时,参考了这个 https://blog.csdn.net/weixin_38256474/article/details/94440838

两个链接一起并行,因为我根据第一个找日志的时候没有找到具体的警告的内容,就再找了第二个,现在,完美解决,hadoop配置完成

start-all.sh

WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [iZwz98dsxce9uj6bo7qs9lZ]
Starting resourcemanager
Starting nodemanagers
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值