一、
Error for /api/v1/applications
java.lang.ClassNotFoundException: org.apache.spark.status.api.v1.ApiRequestContext
错误比较诡异,spark api 里根本没有这个类,不行的话,只能把org.apache.spark.status.api.v1,这个包在spark-core_2.11-2.1.0.jar中,复制到集群节点上
/spark/jars
/hadoop/share/hadoop/yarn/lib
二、
java.lang.NoClassDefFoundError: org/neo4j/driver/v1/Config
1、提交方式为:–master spark://rtask-nod8:7077
spark 的应用/home/vpe.cripac/spark/conf/会读取/home/vpe.cripac/spark/jars/下的jar,这个就是classpath,所以需要把用到的lib copy到这里一份,而且要copy到master和slave所有的节点上,但是这很麻烦,所以需要在打包时使用assemble方式,如下链接
2、提交方式为:–master yarn
需要将缺少的jar拷贝到/home/vpe.cripac/hadoop/share/hadoop/yarn/lib下,每个节点都要拷贝
http://blog.csdn.net/a95473004/article/details/53886010
三、
java.lang.NoClassDefFoundError: Could not initialize class demo