spark-local模式

最新推荐文章于 2022-11-30 12:00:00 发布

宁凡

最新推荐文章于 2022-11-30 12:00:00 发布

阅读量293

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weixin_43374351/article/details/114834443

版权

本文介绍了Spark运行模式中的Local模式，包括local模式的设置，如local、local[k]和local[*]，以及如何配置executor内存。通过示例展示了使用local模式进行蒙特卡罗法求PI和WordCount操作，解释了相关参数的作用，并提供了运行命令。在本地运行Spark应用时，可以解压jar包，直接执行demo，便于快速上手。

摘要由CSDN通过智能技术生成

spark运行模式 local，standalone，yarn，mesos，k8s。

local模式设置master
    local：所有计算都在一个线程，没有并行计算。
    local【k】：指定用几个线程计算。
    local[*]：以cpu最多core设置线程数量。
local模式简单，解压jar包，直接复制demo即可。

参数解释：
-–executor-memory 10G   每个worker/executor都会分配10G
--master local【3】            默认值local
--total-executor-cores        ？？

local模式demo
蒙特卡罗法求PI：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100