Spark：命令行

Re-X

已于 2022-08-04 14:46:41 修改

阅读量632

点赞数

分类专栏：操作方法文章标签： spark 大数据 hadoop

于 2022-06-30 09:14:41 首次发布

本文链接：https://blog.csdn.net/weixin_45730125/article/details/125533688

版权

本文档记录了使用Spark进行命令行操作的步骤，包括运行示例命令行、通过命令行提交任务以及查看YARN上的输出结果。在实际操作中遇到了版本不匹配导致的报错问题，提示可能是因为Spark集群版本与代码所依赖的版本不一致。

摘要由CSDN通过智能技术生成

记录一下。

运行示例命令行：

//以下两个为本机wls与公司集群链接使用的命令行：
${SPARK_HOME}/bin/spark-submit  
--master yarn \
--deploy-mode cluster  \
--conf spark.yarn.jars=$SPARK_HOME/jars/* \
--conf spark.kerberos.keytab=/etc/admin03.service.keytab \
--conf spark.kerberos.principal=admin03/adp@HADOOP.COM \
--executor-memory 2G \
--executor-cores 1 \
--class com.bigdata.spark