本文介绍了如何利用Pyspark 1.6.2 API连接到MySQL数据库，特别是DataFrameWriter.jdbc方法的使用，该方法接受URL、table和properties作为参数，其中properties是包含连接详情的映射。文章探讨了在连接过程中采用的方法，但未明确说明是线程池还是普通连接方式。
pyspark 1.6.2 API http://spark.apache.org/docs/1.6.2/api/python/pyspark.sql.html?highlight=jdbc#pyspark.sql.DataFrameWriter.jdbc
1. 数据库以Mysql为例
url = “jdbc:mysql://localhost:3306/test”
table = “test”
properties = {"user":"root","password":"111111"}
df = sqlContext.read.jdbc(url,table,properties) #读
df.write.jdbc(url,table,properties) #写
# 写入时候需要把RDD转为dataframe类型 可用rdd.toDF()
# 如果导入数据有中文
# mysql的表的编码格式设置成utf8 ALTER TABLE tablename CONVERT 
最低0.47元/天 解锁文章
3350
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
