IDEA打包Spark-HBase程序时缺少jar包,把spark submit到集群中运行时报错:
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at SparkHbase
解决办法:
1、在hadoop安装目录下找到hadoop-env.sh文件
添加 :
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/src/hbase-0.98.6-hadoop2/lib/*
/usr/local/src/hbase-0.98.6-hadoop2 为自己的hbase安装路径
2、在spark安装路径的conf文件夹找到spark-env.sh
添加 :
export SPARK_CLASSPATH=/usr/local/src/hbase-0.98.6-hadoop2/lib/*
/usr/local/src/hbase-0.98.6-hadoop2 为自己的hbase安装路径
source spark-env.sh
重新提交spark服务,问题解决!