python——spark使用

一、spark简介

Spark使用Scala语言进行实现，能操作分布式数据集。

Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷。

Spark的适用场景：

1.  复杂的批量处理（Batch Data Processing），偏重点在于处理海量数据的能力，至于处理速度可忍受，通常的时间可能是在数十分钟到数小时；

2.  基于历史数据的交互式查询（Interactive Query），通常的时间在数十秒到数十分钟之间

3.  基于实时数据流的数据处理（Streaming Data Processing），通常在数百毫秒到数秒之间

二、spark使用思路

spark是一个分布式计算框架，主要流程：数据输入——数据计算——数据输出

三、准备工作

1.检查python版本，python3.12有部分功能不能使用，需要降低python版本。作者使用的是3.10

2.导入pyspark包。

3.链接python和spark。代码如下

from pyspark import SparkConf,SparkContext
import sys
import os

#查看python解释器路径
#print(sys.executable)


#spark连接python，这里的路径可以根据print(sys.executable)查看
os.environ['PYSPARK_PYTHON']="D:\\pythonProject\\.venv\\Scripts\\python.exe"


#pyth