spark参数

最新推荐文章于 2024-06-18 19:33:53 发布

原创最新推荐文章于 2024-06-18 19:33:53 发布 · 342 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

42 篇文章

订阅专栏

本文介绍了如何在Spark应用程序中设置参数，包括通过spark-submit命令行工具提交应用时的配置选项，以及在Spark程序内部进行参数设置的方法。同时，文中还提供了Maven依赖库的源地址选择建议，帮助开发者更好地管理项目的依赖。

spark提交参数：

http://spark.apache.org/docs/latest/submitting-applications.html

spark程序里设置参数

http://spark.apache.org/docs/latest/configuration.html

pom的url:

<url>http://maven.aliyun.com/nexus/content/groups/public</url>
<url>https://repository.cloudera.com/artifactory/repo/</url>
或者写成
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
默认是下面这个官网的，可能有些依赖没有：
https://repository.apache.org/content/repositories/ ——（这里注意区分releases/和snapshots/版本）

jvm参数：

https://www.e-learn.cn/content/qita/660056

可能要结合这个：

http://spark.apache.org/docs/latest/configuration.html

https://blog.csdn.net/renfufei/article/details/76350794