note:
a) 原来的Spark job提交方式在现在(CDH5.4.2 yarn-client模式)不能有效加载集群中HBase的配置信息,这会造成部分机器上executor(gs-server-10003, 10004, 10005没有安装Zookeeper的节点)无法进行hbase操作,会拖累整个任务的执行。
正确的启动方式要用“--conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDHb/hbase/conf/”
note:
a) 原来的Spark job提交方式在现在(CDH5.4.2 yarn-client模式)不能有效加载集群中HBase的配置信息,这会造成部分机器上executor(gs-server-10003, 10004, 10005没有安装Zookeeper的节点)无法进行hbase操作,会拖累整个任务的执行。
正确的启动方式要用“--conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDHb/hbase/conf/”