pyspark 将rdd 存入mysql

简单来说:将rdd存入mysql需要先将rdd转为dataframe,然后将dataframe存入mysql

以下是例子
相关配置不做赘述
首先需要拥有一个rdd , 我的rdd长这个样子
在这里插入图片描述

然后把rdd转成dataframe

from pyspark.sql import Row
emp = rdd.map(lambda p : Row(url=p))
df = spark.createDataFrame(emp)

最后将dataframe存入mysql

url="jdbc:mysql://192.168.14.90:3306/hy88?user=spider&password=111111"
df.write.jdbc(url=url,mode="append",table="com_url",properties={"driver":"com.mysql.jdbc.Driver"})
展开阅读全文

没有更多推荐了,返回首页