spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群

 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)集群模式(Cluster Mode)云服务(Cloud),方便开发测试和生产部署。
在这里插入图片描述

概述

  1. 本地模式:Local Mode
    将Spark 应用程序中任务Task运行在一个本地JVM Process进程中,通常开发测试使用。
    在这里插入图片描述
    本地模式LocalMode运行:启动一个JVM进程,里面运行Task任务,Task任务并行运行数目依据分 配CPU Core核数,在Spark应用中,一个Task任务运行,需要1Core CPU。
    1)、方式一:local
    表示分配1Core CPU运行
    2)、方式二:local[K]
    表示分配K Core CPU,同时运行K个Task
    3)、方式三:local[*] 表示获取物理机器CPU Core核数

  2. 集群模式:Cluster Mode
    将Spark应用程序运行在集群上,比如Hadoop YARN集群,Spark自身集群Standalone及
    Apache Mesos集群
    官方网址:根据个人版本选择

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值