Excel导入的开发经验

从2020年开始接触Java Excel导入的开发工作。在一家建筑机器人的公司离职后，来到广州找的是一家工厂，开始接触导入的开发工作。之前也没有什么使用开发经验，只是在教学视频中看到过有些老师使用开源的Excel POI进行数据的导入存储。

说到导入工作，没有开发经验的工程师有的觉得简单有的觉得难。导入不就是把Excel中的数据导入到数据库中吗？Excel导入校验是开发过程中第一个模块，只有校验成功之后的数据才是正确可信，才能入库保存。数据采集与存储，现在有很多的问题都是通过表单之类的提示要求用于提供数据采集的权限。软件的盈利模式有很多的尝试。首先是要弄懂管理程序员的公司，然后才开始做项目，之后是产品，升级到品牌就是相当不容易。数据的采集操作如果是通过单条表单式的校验成功之后提交，效率是十分低下。批处理操作就是为了提升工作效率形成的一种工作理念。

数据Excel导入数据量有大有小，问题就是会有多有少。数据和线程又是两回事，数据是用户很看重的存储单元。线程是用户，处理数据，使用数据。数据量大了就要进行分布式存储，数据量小对一个系统的开发需求又有点鸡肋。分布式存储的概念在程序开发的大量数据处理机制里面一直在尝试和运用。分布式存储，多线程高并发，可移动式嵌入式设备，这些概念是现在和将来都很重要的。用户量和数据量是企业的挣钱方式，同时也是相当头疼的难题。

导入校验的任务是把一些错误校验信息存放在某个地方。导入不成功的处理机制像处理事务一样，要么成功，要么失败。读文件和写文件的效率是十分低下，把磁盘中的文件加载到内存中，通过中央系统处理器处理之后要持久化到磁盘中，这个过程消耗的时间太多。时间响应的指标对用户的体验影响十分大。缓存机制和分布式锁机制，市面上有很多的集成产品。Java的开发框架Redis，分布式批处理框架SpringBatch，都可以考虑。锁的使用是避免多线程高并发的时候多线程同时操作同一个数据区的时候的一种处理方案。异步操作使得线程操作很灵活，同步操作使得线程操作数据很安全。时间和空间，使用锁机制会消耗时间，多使用动态内存开线程窗口会消耗空间。组件的使用，封装简化，提供操作接口。Reuse space and more efficiency。

分布式集群和多线程高并发，集群的操作处理数据的方式在后台服务器端存在很多的解决方案。SpringCloud和 dubbo, 是服务层的分布式解决方案。分布式事务处理机制是在银行看到的一种概念，在业务逻辑程的分布式数据处理方式，具体的实现方式开源框架没有怎么接触。

分布式的概念在程序开发的每一层都是有相应的处理方案。数据量大了，处理数据的效率要做相应的提升，数据分开存放，线程处理同步之后就不会有太大的性能问题。这是软件处理数据的一种思想。硬件的问题，比如数据传输，带宽，CPU等等都会有影响。