PySpark集成MySQL教程(超详细)
1.MySQL驱动下载
1.驱动下载地址
https://downloads.mysql.com/archives/c-j/
2.下载
3.下载完成
2.PySpark集成MySQL
1.打开pyspark的目录
2.将”mysql-connector-java-5.1.40-bin.jar“复制到jars目录下即可。
3.测试我的pyspark操作数据库的项目
3.测试连接
1.创建一个python项目
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySQL").getOrCreate()
# MySQL 连接信息
url = "jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
table_name = "admin"
properties = {
"user": "root",
"password": "root"
}
# 读取 MySQL 数据库中的数据
df = spark.read.jdbc(url=url, table=table_name, properties=properties)
# 展示数据
df.show()
#释放资源
spark.stop()
2.效果图
数据读取成功,恭喜你完成操作!!!