spark遇到的一些坑

1.spark的cluster模式参数问题

spark-submit \
--master yarn \
--deploy-mode cluster \
--class com.zctt.bigdata.Education \
--name cluster_test3 \
--executor-memory 5g \
--driver-memory 5g \
--executor-cores 4 \
--jars datanucleus-api-jdo-4.2.1.jar,datanucleus-core-4.1.17.jar,datanucleus-rdbms-4.1.17.jar \
/home/hadoop/demos/cucc_model_thrid.jar 20180402 cluster_test3 edu_zcxc_pro zcxc_result 

cluster模式提交spark-sql代码的时候还需要提交三个jar包:datanucleus-api-jdo-4.2.1.jar,datanucleus-core-4.1.17.jar,datanucleus-rdbms-4.1.17.jar

而且就是--jars后面的jar包要用","分隔而不是" "(空格)分隔。

2.cluster和client的appName问题

cluster模式appName指定在外部才会生效,如果写到程序里面,是不会生效的。

spark-submit \

--name xxx

3.spark-sql整合hive,使用的是yarn-cluster模式,数据库不存在问题

报错:

解决方法:

在spark-submit命令中添加上hive-site.xml配置文件。

spark-submit \
--master yarn \
--deploy-mode cluster \
--class com.zctt.bigdata.Education \
--name cluster_test19 \
--executor-memory 5g \
--driver-memory 10g \
--executor-cores 4 \
--jars datanucleus-api-jdo-3.2.1.jar,datanucleus-core-3.2.2.jar,datanucleus-rdbms-3.2.1.jar,jdo-api-3.0.1.jar \
--conf spark.driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M" \
--files /usr/local/spark/spark-1.5.0-bin-hadoop2.6/conf/hive-site.xml \
/home/hadoop/demos/cucc_model_thrid.jar 20180402 cluster_test19 edu_zcxc_pro zcxc_result

4.spark-sql整合hive,使用的是yarn-cluster,oom问题

报错:

解决方法:

spark-submit \
--master yarn \
--deploy-mode cluster \
--class com.zctt.bigdata.Education \
--name cluster_test19 \
--executor-memory 5g \
--driver-memory 10g \
--executor-cores 4 \
--jars datanucleus-api-jdo-3.2.1.jar,datanucleus-core-3.2.2.jar,datanucleus-rdbms-3.2.1.jar,jdo-api-3.0.1.jar \
--conf spark.driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M" \
--files /usr/local/spark/spark-1.5.0-bin-hadoop2.6/conf/hive-site.xml \
/home/hadoop/demos/cucc_model_thrid.jar 20180402 cluster_test19 edu_zcxc_pro zcxc_result

5.hive启动失败,jline问题

报错:

导致这个问题是由于yarn的jline包版本太低导致,hive的jline版本高。

解决方案:

rm -f /usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar

cp /usr/local/hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar /usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值