简单来说:将rdd存入mysql需要先将rdd转为dataframe,然后将dataframe存入mysql
以下是例子
相关配置不做赘述
首先需要拥有一个rdd , 我的rdd长这个样子
然后把rdd转成dataframe
from pyspark.sql import Row
emp = rdd.map(lambda p : Row(url=p))
df = spark.createDataFrame(emp)
最后将dataframe存入mysql
url="jdbc:mysql://192.168.14.90:3306/hy88?user=spider&password=111111"
df.write.jdbc(url=url,mode="append",table="com_url",properties={"driver":"com.mysql.jdbc.Driver"})