- 注意只有第一次格式化的时候不用改,后面格式化的时候会出现ID对应不上的原因,导致有的东西启动不起来
- 使用ansible执行jps命令:注意按照老师配的话,spark用户是没有root的权限的,所以会解析不了,没有解析nodes文件的权限。因为ansible命令要到root里面那个ansible文件夹执行。但是一般用户进不去
- hdfs,yarn,spark一层一层启动的时候出了大问题,spark一启动,yarn启动的resourcemanager就消失了,而且还会及其卡顿,有时候jps命令勉强跑出来结果,里面还有-- process information unavailable这种。过一会卡顿消失了之后这个unavailable就没有了。开始各种改,而且中间还把关的顺序不小心弄错了,后面出现关闭的一些异常我怀疑是这个原因,后面发现应该是内存不够,有些进程自己停了之后导致的不能正常关闭。
一开始在看日志里面的这个报错信息在改rEnd of File Exception between local host is: “localhost/127.0.0.1”; destination host is: “node1.sparklab.cn”:9000; : java.io.EOFException;后面由于两个命令连着很快的输入,终于露出了罪魁祸首OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f5aa0000, 5636096, 0) failed; error=‘Cannot allocate memory’ (errno=12)。原来是内存不够了,去华为云把内存升级了一下就好了。一开始还想着是不是端口占用,或者是安全组把某些端口封住了。
大数据实验踩坑
于 2022-12-10 10:09:52 首次发布