Pspark从hive读数据写到Pgsql数据库

前提条件

      要使用PySpark从Hive读取数据并写入到PostgreSQL数据库，你需要确保以下几点：

1. 你的PySpark环境已经配置好，并且能够连接到你的Hive数据。

2. PostgreSQL JDBC驱动程序已经添加到你的PySpark环境中。

3. 你已经在PostgreSQL中创建好了相应的数据库和表。

二、实现代码

from pyspark.sql import SparkSession
from pyspark.sql.functions import *

# 创建SparkSession，确保启用Hive支持
spark = SparkSession.builder \
    .appName("HiveToPostgreSQL") \
    .config("spark.sql.warehouse.dir", "<your_warehouse_directory>") \
    .enableHiveSupport() \
    .getOrCreate()

# 使用Hive表名称来创建Spark DataFrame
hive_table = "hive_database.hive_table"
df = spark.table(hive_table)

# 配置JDBC连接参数
url = "jdbc:postgresql://<pgsql_host>:<port>/<database>"
properties = {
    "user": "<username>",
    "password": "<password>",
    "driver": "org.postgresql.Driver"
}

# 将DataFrame写入PostgreSQL
df.write.jdbc(url, "target_table", properties=properties)

# 停止SparkSession
spark.stop()