万能大批量Excel数据导入方法(csv,txt,xls,xlsx)

在企业数字化的过程中,各种系统之间数据迁移,BI的ETL等等,都离不开一个场景:数据导入.虽然很多系统都有数据导入功能,但是都有各种问题给企业带来困扰,比如有的系统虽然有导入功能,但是局限在自己的系统的数据导入,而且对导入的数据格式有严格的限制,还要准备特定的Excel模板,才能导入......,

我们设想一下如下情况怎么解决?

1. 我想在不同的数据库中导入Excel数据(csv,txt,xls,xlsx)
2. 我想往任何我想导入数据的数据库表中导入数据
3. 我想导入大批量的数据(比如百万级的csv数据)
4. 导入数据的时候,我不想准备模板
5. 导入数据的时候,我想按照我自己指定的数据字段查重(防止导入重复数据)
6. 导入数据的时候先验证我想导入的数据是否符合要求(数据类型校验)
7. 实现以上问题的功能,我不想要开发人员开发,因为周期和成本问题限制
8. 我想在导入的时候,无需要安装Excel环境
9. 我想导入的时候可以编辑Excel文件数据
10. 我想......

这么多问题,要解决,作为近30年的IT老司机,之前的确头疼不已,现在终于有了解决的办法,下面我就一一道来.