复盘hadoop集群建立的错误

1.在初始化元数据时报错

从报错信息中看到这段关键信息

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxEOFException: Unexpected EOF; was expecting a close tag for element <configuration>
 at [row,col,system-id]: [35,0,"file:/opt/server/hadoop-3.1.1/etc/hadoop/yarn-site.xml"]

退回到hadoop文件夹，编辑yarn-site.xml文件

检查发现是少打了<configuratio>

重新编辑

保存退出

返回到bin文件夹

再次格式化

成功

2.启动hive时连接被拒绝

错误的关键代码

Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From server/192.168.226.128 to server:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

访问时被拒绝

尝试两个办法

关闭防火墙和重启hadoop

发现是因为关闭了hadoop集群导致的，启动再尝试

成功

用hive执行建表操作成功但是不能插入数据

并且卡住

启动yarn失败

发现是yarn.sh文件不在该文件夹

利用cd和ls指令找到后启动

成功

建表时卡在

初步估计是内存不足

后续更改yarn.xml文件发现无法解决问题