![](https://img-blog.csdnimg.cn/20191105184024873.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
潜心_守道
这个作者很懒,什么都没留下…
展开
-
大数据面试系列之——Spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。1.Spark有几种部署模式,各个模式的特点1.本地模式Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。方便调试,本地模式分三类local:只启动一个executorlocal[k]: 启动k个executorlocal:启动跟cpu数目相同的 executor2.s...原创 2020-02-17 13:31:31 · 1019 阅读 · 0 评论 -
Spark-submit工具参数说明
spark-submit工具参数说明执行时需要传入的参数说明Usage: spark-submit [options] <app jar | python file> [app options] 参数名称 含义 --master MASTER_URL 可以是spark://host:port, m...转载 2019-03-22 17:26:29 · 159 阅读 · 0 评论