pyspark的dataframe写入mysql慢?试试增加这几个参数
之前遇到一个需求,使用spark计算完成之后,df有将近百万数据需要写入到MySQL中
日方写法:
mysql_driver = "com.mysql.jdbc.Driver"
mysql_url = "jdbc:mysql://localhost:3306/my_test_db"
dataframe.write.mode('append').format("jdbc").options(url=mysql_url,driver=mysql_driver,usr="test",password="xx
原创
2020-09-04 10:28:08 ·
1031 阅读 ·
1 评论