pyspark to mysql_PySpark 连接 MySQL 示例

本文发布于掘金，作者：严北(wx: shin-devops)，禁止盗用

配置流程

安装 pyspark

配置 mysql-connector.jar

创建连接

读取数据

安装 PySpark

本地创建一个新的项目，执行 pip install pyspark==3.0，安装 PySpark。

MySQL-Connector 配置

下载

进入 https://dev.mysql.com/downloads/connector/j/ 下载对应的版本的 Platform Independent 的压缩包：

Connector/J version

JDBC version

MySQL Server version

JRE Required

JDK Required for Compilation

Status

5.1

3.0, 4.0, 4.1, 4.2

5.61, 5.71, 8.01

JRE 5 or higher1

JDK 5.0 AND JDK 8.0 or higher2, 3

General availability

8.0

4.2

5.6, 5.7, 8.0

JRE 8 or higher

JDK 8.0 or higher2

General availability. 推荐

点击查看完整 版本关联关系

以 mysql-connector-java-8.0.20.tar.gz 为例，下载完成后，解压得到 mysql-connector-