Power BI：用Python实现Dynamics 365数据集的增量刷新

问题

本月，在Power BI Blog网站，增量刷新功能被正式发布，并全面支持Pro用户（此前仅Premium用户可使用）这对于多数PBI报表开发者而言无疑是个好消息，然而，它并不是完美的，对于一些不支持查询折叠的数据源，依然无法实现真正意义上的增量刷新，就如官方文档所述：

大部分支持SQL查询的数据源都支持查询折叠，但一般档案、Blob、Web和OData等数据源通常不支持…在此情况下，交互式引擎在本机补偿并套用筛选，这可能需要从数据源撷取完整的数据集。这会导致累加式重新整理非常缓慢，而且在使用时，该程序可能会用尽Power BI服务或内本地部署数据网关中的资源

因此，对于在报表中使用的来自Dynamics 365的数据集，由于其使用Odata协议，显然无法实现真正意义上的增量刷新，而不巧的是，使用Dynamics 365作为数据源的报表项目通常都是企业级的，它的数据集规模通常都比较大，开发者无论是在报表测试还是上传，修改以及发布时，都难以避免因数据庞大而造成的效率低下问题，同时这也容易使该项目的数据刷新占用了本地网关的大量资源，故此问题已成为Power BI报表开发者的痛点之一。

思路

事实上，解决此问题的思路是直截了当的。既然直接从Dynamics 365获取的数据集不支持查询折叠，那么我们就把它转换成能够支持查询折叠的数据形式。我们可以写一个程序（本文以Python为例），该程序每天从Dynamics 365上抽取前一天的最新数据，累积存储到关系型数据库中，然后使用Power BI连接该数据库获取该数据，对于Power BI来说，数据源换成了关系型数据库，由于支持查询折叠，一方面数据导入的速度会快很多，另一方面则可以直接利用其内置的增量刷新功能大幅减少每次需要处理的数据量，效率的提升将是成倍的。

注：对于数据库，本文以SQL Server为例, 但如果您所在的组织使用的是基于云端的Azure SQL Database，那么很幸运，微软提供的数据汇出服务可以很好的解决与Dynamics 365之间的数据同步问题

也许你会有疑问，为什么非要把数据拖到数据库中进行中转，难道没有别的更简单的方法吗？作为针对企业实施的BI方案，数据存储到数据库是最规范的做法，而且，数据拖过来，别人也可以用，其他的报表工具也可以用࿰