Spark学习笔记
前言:今天是温习 Spark 的第 1 天啦!主要梳理了Spark环境搭建,3种运行模式,以及spark入门知识点,任务提交方式,参数配置细节,以及启动和端口号等介绍,总结了很多自己的理解和想法,希望和大家多多交流,希望对大家有帮助!
Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊!
喜欢我的博客的话,记得点个红心❤️和小关小注哦!您的支持是我创作的动力!"
文章目录
一、基础环境搭建
1. pyspark+环境
创建一个conda的环境:用于pyspark本地运行
conda create --name Pyspark_Practice python=3.8.8
conda activate Pyspark_Practice
记得配置环境变量
PYSPARK_DRIVER_PYTHON=D:\anaconda\envs\Pyspark_Practice\python.exe
PYSPARK_PYTHON=D:\anaconda\envs\Pyspark_Practice\python.exe
jupyter notebook --ip 192.168.52.3 --port 8888 --allow-root
这会自动安装与你 python版本对应的最新的tensorflow
pip install -i https://mirrors.aliyun.com/pypi/simple/ --upgrade tensorflow
会安装与你环境python版本对应的 pytorch
conda install pytorch torchvision torchaudio cpuonly -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/
source activate 可以进入conda环境
source deactivate 可以退出conda环境
更换下载源
1、conda:
打开Terminal,输入conda config --show channels
这里我们使用清华大学的镜像源。在命令行中复制以下命令,并按回车:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
完成后,再输入conda config --show channels,可以发现,镜像源已经被改为清华源了。
2、pip
pip是一种通用的Python包管理工具,我们在conda环境下也可以使用pip来进行Python包的管理。
在命令行中运行:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
会生成一个pip.ini的文件,这就是pip镜像源的配置文件。
我们可以使用pip config list命令,查看pip镜像源地址。
2. 三种运行方式
(1) local模式
数据源 word.txt:
hello you Spark Flink
hello me hello she Spark
_01_FirstSparkPro.py
# -*- coding: utf-8 -*-
# Program function: 本地测试spark简单wordcount程序
from pyspark import SparkContext,SparkConf
if __name__ == "__main__":
# 1. 首先创建SparkContext的上下文环境
conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
sc = SparkContext(conf=conf)
sc.setLogLevel("WARN")
# 2.从外部数据源读取数据
fileRDD = sc.textFile("D:\PythonProject\Bigdata_Pyspark3.1.2\PySpark-SparkBase_3.1.2\data\input\word.txt")
print(type(fileRDD))
print(fileRDD.collect())
# 3.执行flatmap进行数据扁平化
flat_mapRDD = fileRDD.flatMap(lambda words:words.split(" "))
print(type(flat_mapRDD))
print(flat_mapRDD.collect())
# 4.执行map转化操作,得到(word,1)
rdd_mapRDD = flat_mapRDD.map(lambda word:(word,1))
print(type(rdd_mapRDD))
print(rdd_mapRDD.collect())
# 5.reduceByKey将相同的key的value数据累加操作
resultRDD = rdd_mapRDD.reduceByKey(lambda x,y:x+y)
print(type(resultRDD))
# 6.输出数据
res_rdd_col2 = resultRDD.collect()
# 7.输出到控制台
for line in res_rdd_col2:
print(line)
# 8.输出到文件:不用新建文件夹,输出结果是part文件和success文件
#resultRDD.saveAsTextFile("D:\PythonProject\Bigdata_Pyspark3.1.2\PySpark-SparkBase_3.1.2\data\output")
# 9.针对values单词进行词频统计
print("=========================sort===============================")
#print(resultRDD.sortBy(lambda x:x[1], ascending=False).take(3))——获取前3位
#print(resultRDD.sortBy(lambda x: x[1], ascending=False).top(3))——获取后三位
print('停止 PySpark SparkSession 对象')
sc.stop()
(2) standlone模式——远程连接
# 配置上下文环境时
conf = SparkConf().setAppName("StandloneSpark").setMaster("spark://node1:7077")
# 读取文件时:
# 路径不指定协议 默认使用hdfs
# 读取hdfs文件:
fileRDD = sc.textFile("hdfs://node1:9820/word.txt")
# 读取linux本地文件:需要三个节点备份:
fileRDD = sc.textFile("/export/data/pyspark_workplace/PySpark-SparkBase_3.1.2/data/input/word.txt")
(3)HA模式——远程连接
# 1、首先创建SparkContext上下文环境
conf = SparkConf().setAppName("StandloneSpark").setMaster("spark://node1:7077,node2:7077")
3. Spark简介
(1) 介绍spark
Spark 是一种快速、通用、可扩展的大数据分析引擎,2009 年诞生于加州大学伯克利分校。
具有以下五大特点:
- 1-速度快:
- 其一、Spark处理数据时,可以将中间处理结果数据存储到内存中
- 其二、spark job调度以DAG方式,每个任务Task以线程Thread方式,而不是mapreduce以进程process方式
- 2-易于使用:
- Spark 的版本已经更新到 Spark 3.1.2(截止日期2021.06.01),支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景,Spark仍然持续更新Spark2版本。
- 3-通用性强:
- SparkSQL:提供结构化的数据处理方式
- SparkStreaming:处理流式处理任务
- MLlib:机器学习算法库
- GraphX:提供图形和图形并行化计算
- 4-运行方式:
- 对于数据源而言,Spark 支持从HDFS、HBase、 Kafka 等多种途径获取数据。
(2) spark的yarn与deploy-mode
- 1-提交yarn,不走deploy-mode
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
${SPARK_HOME}/examples/src/main/python/pi.py \
10
- 2-client模式:学习测试,driver运行在client的sparksubmit进程中,结果在客户端显示
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 \
--deploy-mode client \
--driver-memory 512m \
--executor-memory 512m \
--num-executors 1 \
--total-executor-cores 2 \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
${SPARK_HOME}/examples/src/main/python/pi.py \
10
- 3-cluster模式:生产环境使用,driver程序在yarn集群,运行结果客户端没有显示
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 \
--deploy-mode cluster \
--driver-memory 512m \
--executor-memory 512m \
--num-executors 1 \
--total-executor-cores 2 \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
${SPARK_HOME}/examples/src/main/python/pi.py \
10
(3) spark两种提交方式
-
spark-shell:交互式scale命令行,bin/spark-shell --master spark://node1:7077
-
spark-submit:
-
–master local[2]
${SPARK_HOME}/bin/spark-submit \ --master local[2] \ ${SPARK_HOME}/examples/src/main/python/pi.py \ 10
-
–master spark://node1.itcast.cn:7077 \
${SPARK_HOME}/bin/spark-submit \ --master spark://node1.itcast.cn:7077 \ --conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \ --conf "spark.pyspark.python=/root/anaconda3/bin/python3" \ ${SPARK_HOME}/examples/src/main/python/pi.py \ 10
-
–master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 \
${SPARK_HOME}/bin/spark-submit \ --master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 \ --conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \ --conf "spark.pyspark.python=/root/anaconda3/bin/python3" \ ${SPARK_HOME}/examples/src/main/python/pi.py \ 10
-
(4) Driver Program 和 Executor 参数配置
SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1.itcast.cn:7077,node2.itcast.cn:7077 \
--deploy-mode cluster \
--driver-memory 512m \ # 指定driver program JVM进程内存大小,默认为1G
--executor-memory 512m \ # 指定Executor 运行所需内存大小
--num-executors 1 \ # 表示在yarn集群下,Executor的个数,默认值为2
--total-executor-cores 2 \ # 所有任务的总 CPU cores
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
${SPARK_HOME}/examples/src/main/python/pi.py \
10
(5) Spark服务启动
- 集群启动
/export/server/spark/sbin/start-all.sh
- 本地启动:python交互式
/export/servers/spark/bin/pyspark --master local[4]
- 本地启动:scale交互式
/epxort/servers/spark/bin/spark-shell --master spark://node1:7077
/epxort/servers/spark/bin/spark-shell --master spark://node1:7077,node2:7077
- 启动历史日志服务器
sbin/mr-jobhistory-daemon.sh start historyserver
端口:18080
(6) spark的重要端口号
- 1-Spark Master Web UI:4040
这个端口用于显示 Spark Master 的 Web 用户界面通过这个界面查看和管理 Spark 集群的状态。
- Spark Worker 和 Spark Driver 与 Master 通信端口:7077
这个端口用于 Spark Worker 和 Spark Driver 向 Spark Master 发送心跳和任务状态信息。
- Spark EventLog 事件日志端口:4041
这个端口用于 Spark 事件日志的记录和查看,包括任务的创建、提交、完成等事件。
- Spark History Server Web UI端口:18080
这个端口用于显示 Spark History Server 的 Web 用户界面,你可以通过这个界面查看已完成的任务的历史信息。