一、介绍
Local模式就是常用于本地开发测试,本地还分为local单线程和local-cluster多线程;
二、本质
启动一个JVM Process进程(一个进程里面有多个线程),执行任务Task
三、原理
-
该模式被称为**Local[N]**模式,是用单机的多个线程来模拟Spark分布式计算,直接运行在本地,便于调试,通常用来验证开发出来的应用程序逻辑上有没有问题。
-
通常Cpu有几个Core,就指定几个线程,最大化利用计算能力.
-
其中N代表可以使用N个线程,每个线程拥有一个cpu core。如果不指定N,则默认是1个线程(该线程有1个core)。
-
如果是local[*],则代表 Run Spark locally with as many worker threads as logical cores on your machine.按照Cpu最多的Cores设置线程数