- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-07-29
SparkSql将数据写入SFTP时内存溢出最近接到个需求，大概的意思是将集群中的数据进行ETL后保存至SFTP。之前进行类似的需求主要思路如下:spark处理完数据后，将数据生成文件保存hdfs上，然后使用一个程序读取这个文件，直接以流的形式或者将数据读入内存均可，抱着快速完成需求的初衷，使用了一个第三方jar包，我觉得开源的依赖使用起来更加简洁易维护。具体的使用方式如下：DataFrame.format("com.springml.spark.sftp"). option("host
2021-07-29 17:10:17
116
原创 2021-07-29
使用JDBC连接带有ProxySQL中间件的mysql发生错误：Unknown system variable ‘query_cache_size’最近在客户的服务器上部署程序的时候发现一个springboot的项目启动报错，主要的错误就是java.sql.SQLException: Unknown system variable ‘query_cache_size’。根据官方的说法是 :The query cache is deprecated as of MySQL 5.7.20, and is
2021-07-29 15:28:07
190
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人