pyspark之sparksql数据流转

在pyspark中，使用sparksql进行mysql数据的读写处理，将程序保存为test.py

一、准备工作

#-*- coding: UTF-8 -*- 
# 设置python的默认编码
import sys

# v3.x版本python，默认为utf-8
import importlib
importlib.reload(sys)

# 2.x版本python，使用reload,并定义默认编码格式
# reload(sys)
# sys.setdefaultencoding('utf-8')

# Spark 初始化
from pyspark.sql import SQLContext, SparkSession, Row
# spark在2.x后，直接使用spark.sql()执行sql脚本
spark = SparkSession.Builder().master('local').appName('sparkSql').config("spark.sql.warehouse.dir", "/user/hive/warehouse").enableHiveSupport().getOrCreate()
# spark在2.x后就弃用了这种方法：构建sql执行器
# sqlContext = SQLContext(spark) #sparksql方法

• master()、appName() 、getOrCreate() 、enableHiveSupport()是SparkSession.Builder的方法
• master()：设置主名称。如果应用程序在本地运行，则是local；如果应用程序在集群上运行，则通常是 yarn 或 mesos，取决于集群配置
• appName() ：–应用程序的名称。它将显示在 Spark UI 中，可以自定义名称
• enableHiveSupport()：用于启用Hive支持，即在Spark中使用Hive元数据存储和查询数据
• config(“spark.sql.warehouse.dir”, “Hive元数据存储的目录”)：设置Hive元数据存储的目录。
  如config(“spark.sql.warehouse.dir”, “/user/hive/warehouse”)设置了Hive元数据存储的目录为/user/hive/warehouse

二、连接mysql数据库

# 设置数据库信息
prop = {
   'user':'','password':'','driver':'com.mysql.cj.jdbc.Driver'}
url_dim = 'jdbc:mysql://ip:port/kscs_dim?useUnicode=true&autoReconnect=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai'
url_ods = 'jdbc:mysql://am-bp14fo4aez0qi09y5167320o.ads.aliyuncs.com:3306/kscs_ods?useUnicode=true&autoReconnect=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai'
url_dwd = 'jdbc:mysql://ip:port/kscs_dwd?useUnicode=true&autoReconnect=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai'
url_dws = 'jdbc:mysql://ip:port/kscs_dws?useUnicode=true&autoReconnect=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai'
url_ads = 'jdbc:mysql://ip:port/kscs_ads?useUnicode=true&autoReconnect=true&characterEncoding=utf8&allowMultiQueries=true&serverTimezone=Asia/Shanghai'

三、读取mysql数据并写入mysql

1、表读取直接写入mysql

全量读取，直接写入mysql

# 读取数据
print('====read====')
data = spark.read.jdbc(url=url_ads, table='ads_ec_douyin_live_data', properties=prop)
print(type(data)