PySpark集成MySQL教程（超详细）

PySpark集成MySQL教程（超详细）

1.MySQL驱动下载

1.驱动下载地址

https://downloads.mysql.com/archives/c-j/

2.下载

3.下载完成

 

 

2.PySpark集成MySQL

1.打开pyspark的目录 

2.将”mysql-connector-java-5.1.40-bin.jar“复制到jars目录下即可。

3.测试我的pyspark操作数据库的项目

3.测试连接

1.创建一个python项目

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySQL").getOrCreate()

# MySQL 连接信息
url = "jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
table_name = "admin"
properties = {
    "user": "root",
    "password": "root"
}

# 读取 MySQL 数据库中的数据
df = spark.read.jdbc(url=url, table=table_name, properties=properties)
# 展示数据
df.show()

#释放资源
spark.stop()

2.效果图

数据读取成功，恭喜你完成操作！！！