未能加载ssis子系统_从数据民工到数据白领蜕变之旅（七）-将PowerQuery嫁接到SSIS...

在数据ETL过程中，除了常规的规范工整的关系数据库之外，很大一部分数据来源于用户自行生产的Excel数据源，此部分数据最容易产生脏乱差的数据现象。

前面推文虽有介绍使用dotNET和python这样的脚本语言去处理，但仍然有一片广阔的领域待开发，使用Excel自身的能力，即VBA和轻量化ETL工具PowerQuery的结合。本篇给大家送上Excel与SSIS结合的精彩解决方案。

使用场景

在PowerQuery的数据处理中，有相当多的一些功能使用起来非常方便，对应于企业级的SSIS，反而缺少了这些的灵活性，真正要完全使用SSIS来实现，非常繁琐。如PowerQuery里的逆透视功能，行列转置功能，标题行提升功能等。

所以，若可以在标准的SSIS流程中引入PowerQuery的轻量化数据处理功能，将原有复杂的数据结构，先进行清洗整合后，变为一个干净的数据源供SSIS调用上传至数据库中，这时整个方案的可行性和性价比都非常可观。

同时PowerQuery的弊端也因为SSIS的介入得到解决，如数据不能加载到其他目标位置仅能进入模型层，数据抽取性能问题，每次全量抽取一没必要二性能严重受影响。

技术原理

本篇将使用在SSIS中，使用循环容器遍历文件夹内所有Excel文件，将其文件路径获取到，再使用dotNET脚本打开用于数据转换的Excel模板文件(里面事先存储好PowerQuery的抽取清洗逻辑代码)。

将模板文件内的PowerQuery查询使用替换的方式，将其引用的文件路径替换为当次循环引