多线程导出excel高并发_用多线程优化Excel表格数据导入校验的接口

公司的需求，当前某个Excel导入功能，流程是：读取Excel数据，传入后台校验每一条数据，判断是否符合导入要求，返回给前端，导入预览展示。(前端等待响应，难点)。用户再点击导入按钮，进行异步导入(前端不等待，好做)。当前接口仅支持300条数据，现在要求我要支持3000条数据。

解决问题，思路是关键。

首先，查看接口，找到读取表格的位置，看到判断，如果数据量大于300，直接返回。把300改成3000.

然后，分析导入数据校验，都是和哪些数据进行校验的，这些数据都是从数据库来的。每一次都从数据库查询，那肯定是慢的。就算是查询Redis缓存，也要有网络消耗，增加缓存的压力。虽然单机Redis有12万次/秒的查询性能，12万除以3000得40，如果这样玩，40个人使用就拖垮系统了。同一个数据，非要查3000次，那是不是傻？？？所以减少每一次的查询，把数据库查询都加上Redis缓存，把Redis缓存查到的数据，在方法中创建并发安全容器ConcurrentHashMap存储数据，避免重复的查询操作，只查一次直到方法调用结束。

Map map = newConcurrentHashMap();

Object obj= map.get("key");if (null ==obj){//查询缓存，或者数据库

String value = "数据";

map.put("key", value);

}

方法内部创建的对象，当方法调用完成，进栈出栈，释放引用，就会释放内存。在3000次校验的过程中，Object对象，是在jvm内存中的，方便被快速的重复使用，而不是需要再次从数据库或者缓存中获取。这是方法栈级别的缓存，JVM缓存，本地缓存。

这就是最重要的思想，思维。做到一个方法中，尽量少的查询，把查询的结果重复利用。

当我做完了在方法中用ConcurrentHashMap缓存数据，就进行了测试。

结果：最多支持800条导入数据的校验。前端请求超过10秒，就会请求超时。

怎么办呢？？？

产品，你这个需求搞不定啊。无法实现啊。。。。。。扯皮中。。。。。扯皮无效。