Spark Local环境基本原理

一、介绍

Local模式就是常用于本地开发测试，本地还分为local单线程和local-cluster多线程;

二、本质

启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task

三、原理

• 该模式被称为**Local[N]**模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。

• 通常Cpu有几个Core，就指定几个线程，最大化利用计算能力.

• 其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N，则默认是1个线程（该线程有1个core）。

• 如果是local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.按照Cpu最多的Cores设置线程数