Spark（一）

1、是什么 

Spark是一个基于内存运算的分布式计算框架， 包含多个模块提供各种场景的数据统计分析计算，统一分析引擎

• 速度快 开发效率高运行速度快：Spark支持使用Scala、Java、Python、SQL、R进行快速分布式应用程序构建，并提供了基于内存的资源调度方式，可以将所有的计算步骤在网络和内存中完成，任务过程中不需要使用磁盘IO

• 简单易用 类似Scala中的集合，Spark中提供了近百种高级算子，和4种数据抽象，完成数据处理任务的编排

• 通用性 Spark提供了SparkCore(批处理)，SparkSQL(结构化数据运算)，SparkStreaming（流式计算），MLlib（机器学习库），GraphX(图计算)

• 兼容性 Spark提供了多种任务管理方式:HadoopYARN、Mesos、K8s Spark也提供了独立的集群模式： 主从架构 主: Master 从: Worker Spark为了兼容Hadoop生态的组件，提供了数百种数据的访问方式

2、集群搭建

• 关于版本

  • 经典版本： 1.6.3

  • 企业中常见版本： 2.1.x 2.4.x 3.1.x

  • 当前: 3.1.2

1. 下载解压

2. 链接: https://pan.baidu.com/s/1-AwAcEoNzwn1DTXs9bP9SA 提取码: kajy 

3. 修改配置文件

   • spark-env.sh

# hadoop集群配置文件所在路径
HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
# SparkStandalone集群模式的主节点服务端口
SPARK_MASTER_PORT=7077
# 主节点WebUI端口
SPARK_MASTER_WEBUI_PORT=8080
# JDK
JAVA_HOME=/opt/jdk-1.8

• spark-defaults.conf

# Spark客户端连接集群时使用的默认配置
spark.master  spark://zhaohui01:7077

• workers

# 配置所有需要启动Worker服务的机器
zhaohui01
zhaohui02
zhaohui03

1. 分发安装包

#!/bin/bash
​
HOSTNAME=`hostname`
​
HOSTS=`cat /etc/hosts | grep zhaohui |awk '{print $2}' | grep -v $HOSTNAME`
​
# for 循环变量  in  集合
# do
#    循环体
# done
​
for HOST in $HOSTS
do
   echo "正在将${1}发送到${HOST}的$2"
   scp -rq $1 $HOST:$2
   echo "发送完成"
done

1. 配置环境变量

echo 'export SPARK_HOME=/opt/spark-3.1.2' >> /etc/profile
echo 'export  PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH' >> /etc/profile
source /etc/profile

1. 启动集群

   [root@zhaohui01 shell]# start-spark-all.sh

2. 运行Spark