Spark实现读取关系型数据库数据并保存在HDFS(python)

加粗样式1. 导入必要的库

from pyspark.sql import SparkSession

2. 创建SparkSession

spark = SparkSession.builder.appName("Read RDBMS Data and Save to HDFS").getOrCreate()

3. 读取关系型数据库数据

# 配置数据库连接信息
url = "jdbc:mysql://localhost:3306/mydb"
table_name = "my_table"
properties = {"user": "my_user", "password": w", "driver": "com.mysql.jdbc.Driver"}
# 读取数据
df = spark.read.jdbc(url=url, table=table_name, properties=properties)

4. 保存到HDFS中

# 配置HDFS保存路径
hdfs_path = "hdfs://localhost:9000/my/path/"
# 保存数据
df.write.format("parquet").mode("overwrite").save(hdfs_path)

我们使用了Spark读取关系型数据库数据，并将数据保存到HDFS中，具体实现过程如下：

• 首先，创建SparkSession。
• 接着，配置数据库连接信息，包括数据库URL、表名以及用户名和密码等。
• 然后，使用Spark的read.jdbc()方法读取指定的表数据，并将其存储在DataFrame中。
• 最后，配置HDFS保存路径，并使用DataFrame的write()方法将数据保存到HDFS中，这里我们使用了parquet格式作为保存的数据格式。