使用pyspark操作数据库

最新推荐文章于 2024-07-29 17:54:27 发布

晓东邪

最新推荐文章于 2024-07-29 17:54:27 发布

阅读量1.1k

点赞数

分类专栏： pyspark 数据库

本文链接：https://blog.csdn.net/xiaodongxiexie/article/details/105319978

版权

本文介绍了如何使用PySpark库来操作数据库，分为1.篇和2.篇进行详细讲解，涵盖了PySpark连接数据库的基础知识和实践技巧。

摘要由CSDN通过智能技术生成

文章目录

- 使用`pyspark`操作数据库
- - 1.`sqlite`篇
  - 2.`mysql`篇

使用`pyspark`操作数据库

1.`sqlite`篇

# -*- coding: utf-8 -*-
# @Author: xiaodong
# @Date  : 2020/4/4

from pyspark.sql import SparkSession


if __name__ == '__main__':
    spark = SparkSession.builder.appName("sqlite").getOrCreate()

    # 注意，这里的sqlite的db路径需要写绝对路径。
    url = "jdbc:sqlite:D:/work/workspace/python_executor_db/data/dbs/movies.db?rewriteBatchedStatements=true"
    properties = {
   "driver": "org.sqlite.JDBC"}
    links_frame = spark.read.jdbc(url,
                                  "(select * from links)a",
                                  properties=properties)
    movies_frame = spark.read.jdbc(url,
                                   "(select * from movies)b",
                                   properties=properties)

    # 如果你擅长用sql,你可以这么做
    links_frame.registerTempTable("links")
    movies_frame.registerTempTable("movies")

    r = spark.sql("""
        select
            a.*, b.*
        from 
            links a,
            movies b
        where a.movieId = b.movieId
    """)
	r.show()
    
    # 以下两种