数据库导出大文件的时候断联的定位和排除

这个事情半年前遇见过的，记录一下

问题

执行sql的时候，有时候会一次导出大文件

• 数据行数过多
• 单行数据过大导致文件过大

然后当导出的时候，会出现这么一个问题：数据库一直处于吊死状态，不传输任何数据，也不断开

原因分析：

• 数据库会自动释放掉没有相应的长连接，这个连接的时间大概是20分钟。
• 而数据库连接软件不知道长连接已经被kill掉，而是一直在等待数据库传送数据

解决方案：

• 执行sql的时候预估获取的文件大小，每次只获取特定时间内能获取的特定的行数（比如说写一个脚本来执行，然后把文件进行合并）
  举个例来说：5分钟能获取10W条数据，那么就设置10W单个sql的最大量。每5分钟刷新一次数据库请求。
• 如果在windows端，开启Windows系统管理器或者流量查看器来确定是否有稳定的流量流入（这个的确不是靠谱的用法，但是简单直观）
• 更换技术，数据库mysql换oracle，oracle换分布式，把数据加入消息队列（这个是最难实现的，但是如果是长期的那么必须得这么做）