大数据实验踩坑

1. 注意只有第一次格式化的时候不用改，后面格式化的时候会出现ID对应不上的原因，导致有的东西启动不起来
2. 使用ansible执行jps命令：注意按照老师配的话，spark用户是没有root的权限的，所以会解析不了，没有解析nodes文件的权限。因为ansible命令要到root里面那个ansible文件夹执行。但是一般用户进不去
3. hdfs，yarn，spark一层一层启动的时候出了大问题，spark一启动，yarn启动的resourcemanager就消失了，而且还会及其卡顿，有时候jps命令勉强跑出来结果，里面还有-- process information unavailable这种。过一会卡顿消失了之后这个unavailable就没有了。开始各种改，而且中间还把关的顺序不小心弄错了，后面出现关闭的一些异常我怀疑是这个原因，后面发现应该是内存不够，有些进程自己停了之后导致的不能正常关闭。
   一开始在看日志里面的这个报错信息在改rEnd of File Exception between local host is: “localhost/127.0.0.1”; destination host is: “node1.sparklab.cn”:9000; : java.io.EOFException;后面由于两个命令连着很快的输入，终于露出了罪魁祸首OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f5aa0000, 5636096, 0) failed; error=‘Cannot allocate memory’ (errno=12)。原来是内存不够了，去华为云把内存升级了一下就好了。一开始还想着是不是端口占用，或者是安全组把某些端口封住了。