配置spark
- 将hbase的lib目录下的一些jar包拷贝到spark的jar目录
cd /usr/local/spark/jars
mkdir hbase
cd hbase
cp /usr/local/hbase/lib/hbase*.jar ./
cp /usr local/hbase/lib/guava-12.0.1.jar ./
cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar ./
cp /usr/local/hbase/lib/protobuf-java-2.5.0.jar ./
在运行spark-submit **.py文件之前需要启动habse和hadoop.不然会报错.
启动命令:
cd /usr/local/hadoop-3.2.1
./sbin/start-all.sh
cd /usr/local/hbase
./bin/start-hbase.sh
最后可以运行spark-submit .py