- 博客(2)
- 问答 (1)
- 收藏
- 关注
原创 记一次Maxwell抽取mysql——binlog日志报错及解决
记一次Maxwell抽取mysql_binlog日志报错及解决由于春节假期长时间没有开启Maxwell,假期结束后开启时报错:Maxwell couldn't find the requested binlog解决过程:用Maxwell用户登陆mysql数据库,查看Maxwell库的position表,发现binlog日志文件太早了,Maxwell按照半个月前的文件名和偏移量去读日志,读不到,所以报错,于是手动改了binlog_file为最新的,并将binlod偏移量清空,重新启动Maxwell,
2021-02-24 17:05:56 1760 1
转载 pyspark的dataframe写入mysql慢?试试增加这几个参数
转载自cancer_t之前遇到一个需求,使用spark计算完成之后,df有将近百万数据需要写入到MySQL中日方写法:mysql_driver = "com.mysql.jdbc.Driver"mysql_url = "jdbc:mysql://master:3306/my_test_db"dataframe.write.mode('append').format("jdbc").options(url=mysql_url,driver=mysql_driver,usr="test",passwo
2020-11-23 11:02:28 594
空空如也
hive on spark, container与executor内存分配
2021-04-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人