1.ERROR YarnScheduler: Lost executor 5 on 10-149-11-4:remote Rpc client disassociated
类似这种错误,是spark on yarn当前版本的bug。由于启用了动态分配以及回收资源,当正确的回收资源后,会报出这个错误。
这个错误不会影响集群以及计算任务的结果。
Jira地址:https://issues.apache.org/jira/browse/SPARK-4134
2.Spark的hiveserver2,不能add jar创建自定义的udf,udaf等。
Jira地址:https://issues.apache.org/jira/browse/SPARK-11191?jql=project%20%3D%20SPARK%20AND%20affectedVersion%20in%20%281.5.0%2C%201.5.1%2C%201.5.2%29%20AND%20text%20~%20%22beeline%20add%20jar%22
解决办法:打算升级到spark1.6.1,修复了这些bug。