spark2.3.0 java版本_CentOS7.5之spark2.3.0安装

一简介

1.1 Spark概述

Apache Spark是一个快速且通用的集群计算系统。它提供Java，Scala，Python和R中的高级API以及支持通用执行图的优化引擎。是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark是Scala编写，方便快速编程。

1.2 spark下载

1.3 spark技术栈

1.4 spark运行模式

运行环境

模式

描述

Local

本地模式

常用于本地开发测试，本地还分为local单线程和local-cluster多线程;

Standalone

集群模式

典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持ZooKeeper来实现HA

On yarn

集群模式

运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算

On mesos

集群模式

运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算

术语

描述

Application

Spark的应用程序，包含一个Driver program和若干Executor

SparkContext

Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor

Driver Program

运行Application的main()函数并且创建SparkContext

Executor

是为Application运行在Worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。

每个Application都会申请各自的Executor来处理任务

Cluster Manager

在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)

Worker Node

集群中任何可以运行Application代码的节点，运行一个或多个Executor进程

Task

运行在Executor上的工作单元

Job

SparkContext提交的具体Action操作，常和Action对应

Stage

每个Job会被拆分很多组task，每组任务被称为Stage，也称TaskSet

RDD

是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类

DAGScheduler

根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler

TaskScheduler

将Taskset提交给Worker node集群运行并返回结果

Transformations

是Spark API的一种类型，Transformation返回值还是一个RDD，

所有的Transformation采用的都是懒策略，如果只是将Transformation提交是不会执行计算的

Action

是Spark API的一种类型，Action返回值不是一个RDD，而是一个scala集合；计算只有在Action被提交的时候计算才被触发。

二 集群安装

2.1  Local模式

1 解压

[admin@node21 software]$ tar zxvf spark-2.3.0-bin-hadoop2.7.tgz -C /opt/module/[admin@node21 module]$ mv spark-2.3.0-bin-hadoop2.7 spark-2.3.0

2 配置环境变量

[admin@node21 spark-2.3.0