如何从SaaS应用程序查询和提取数据

每个SaaS应用程序的背后都是数据库，用于存储有关员工，供应商，客户和其他合作伙伴的业务信息。 SaaS应用程序支持工作流，例如用于销售和市场营销的CRM，用于财务的云ERP，用于人力资源功能的劳动力管理以及其他企业和部门服务。 如今，许多企业使用广泛的SaaS应用程序-从诸如Salesforce，Slack，Workday和Atlassian之类的主流产品，到许多较小的SaaS工具。

SaaS应用程序不应在孤岛上运行 ，大多数组织需要在它们之间以及与在私有或公共云中管理的其他企业应用程序集成功能。

[InfoWorld的自助式BI综述： Tableau与Qlik Sense与Power BI的对比 。 | 通过InfoWorld大数据和分析报告时事通讯深入了解分析和大数据。 ]

如果跨多个应用程序的工作流需要应用程序集成，则开发团队可以利用SaaS平台的API触发从一个平台到另一个平台的事件。 当许多应用程序和服务需要集成时，可以选择诸如Boomi，SnapLogic或MuleSoft之类的企业集成平台。 如果需要遵循If If，Then That模式的轻量级集成，则IFTTT平台可能会提供足够的集成。 如果开发团队正在开发连接到多个SaaS和企业工作流的新应用程序，则他们还应探索Appian，OutSystems和PowWow等低代码平台。

利用SaaS数据满足不同的业务需求

如果您需要将SaaS平台中的数据与其他数据源集成在一起怎么办？ 出于以下原因，可能需要跨SaaS工具进行数据集成：

• 业务分析师希望使用此数据来开发报告和仪表板。
• 数据科学团队希望将数据用于机器学习实验。
• 业务团队希望集中数据以支持工作流和其他类型的应用程序。 例如，营销团队经常使用客户数据平台或主数据平台来集中有关客户，产品和其他业务实体的数据。
• IT团队应提取数据以进行备份，或允许将数据过渡到其他平台。
• 法律团队有时需要对基础数据执行法律发现。
• 数据管理员通常希望清理，转换或丰富基础数据。

当然，您可以利用SaaS平台的API提取数据，但这可能需要大量的开发工作来学习API，了解SaaS平台的数据模型，为任何新数据创建数据存储，编写代码以加载数据，并为任何转换开发逻辑。 此外，IT团队必须定义云或数据中心基础架构来托管此应用程序或服务。 最后，任何旨在按计划或按需运行的数据集成都需要持续的支持。 从头开始开发集成对于具有其他更具战略意义的优先事项的开发团队和IT组织而言可能是昂贵的。

另一种方法是考虑数据集成，数据流，ETL（提取，转换和加载）或其他数据准备平台 。 当使用频繁更改的大量数据时，使用数据集成平台可能是最佳方法，因为这些平台可实现灵活的提取和转换。 但是，在最终用户访问和利用信息之前，他们还需要进行集成的前期开发。

可能需要更轻量级的查询和管理SaaS数据的手段。 有时，这些对于快速实验，发现和原型化很有用。 在其他时候，这些方法可以轻松地用于运营或生产需求，尤其是在数据量很少且查询吞吐量不重要的情况下。 这是三个选项。

1.直接查询SaaS应用程序的BI平台

如果您的主要要求是报告，那么许多自助式BI和数据可视化平台都可以直接连接到更流行的SaaS应用程序。

• Tableau可以连接到 Intuit Quickbook，Google Analytics，LinkedIn Sales Navigator，ServiceNow，Eloqua，Marketo和Salesforce等平台。
• Microsoft Power BI还与在线服务集成，例如Adobe Analytics，Facebook，GitHub，MailChimp，Stripe，Quick Base和Zendesk。
• Domo声称拥有1000多个连接器 ，包括HubSpot，Jira，Instagram，Qualtrics，Shopify，SurveyMonkey，Twitter和Workday等平台。

至少，这些集成提供了一种查询和发现基础SaaS数据源的简便方法。 最好情况下，现成的集成足以使最终用户创建所需的数据混合，报告和仪表板。

有一些注意事项。

• 当列具有匹配的键时，这些平台将启用联接和数据混合。 如果在集成数据源或将其与其他数据源混合之前需要进行大量数据转换，则它们将变得更难使用。
• 查看是否通过实时查询执行SaaS数据集成，或者是否提取或缓存了数据。
• 如果SaaS应用程序包含大量数据，与许多其他数据源存在复杂的联接，或者许多用户同时使用仪表板，则性能可能是一个因素。

2.模拟ODBC，JDBC，OData或其他驱动程序的平台

如果业务需要不只是报告和仪表板，并且仍然需要轻量级的集成方法，那么一些商业工具会将SaaS API转换为标准数据库驱动程序，例如ODBC，JDBC或OData。 通用SaaS平台的驱动程序有两个选项： Progress DataDirect和CData驱动程序技术 。

对于想要在将数据提取到他们的分析之前对SaaS数据库执行临时查询的数据科学团队，驱动程序方法可能最有用。 对于需要实时查询SaaS应用程序数据的应用程序开发人员来说，这也是一个不错的选择。

开发和数据科学团队应研究此集成的性能，尤其是在需要大量查询，大型数据集或低延迟的情况下。 此外，许多SaaS应用程序会根据API使用情况来限制客户或向客户收费，因此如果需要更高的查询量或数据量，这可能是一个因素。

3.轻量级ETL平台，可将SaaS数据同步到云数据库

最终的想法是将数据从SaaS应用程序集成到您的组织设置和管理的云数据库中。 此策略增加了一些操作复杂性和成本，如果需要实时查询SaaS应用程序数据，则可能不是理想的选择。 但这确实具有几个优点：

• 它提供了对业务用户，数据科学家（包括公民数据科学家 ）和应用程序开发人员使用的数据库平台和数据体系结构的更多控制。 平台和体系结构应满足容量，性能和延迟要求。
• 独立于SaaS数据库存储数据可提供更大的灵活性，以根据下游用户和应用程序的需要来转换，联接，清理，多维数据集或聚合数据。
• 如果用于查询此数据的数据安全性，数据隐私或其他数据治理控件与SaaS应用程序中可用的访问和权利控件不同，则可能需要将数据托管在单独的数据库中。
• 独立于SaaS平台托管数据对于更高的数据和查询量需求可能更具成本效益。

尽管您可以使用数据集成或数据准备平台来检测此集成，但仍有一些SaaS数据集成平台具有可直接连接到许多SaaS应用程序的连接器。 如果您的目标是将数据从SaaS应用程序流传输到云数据库，则Stal是Talend的公司 ，是即插即用的解决方案。 您可以选择要复制的数据和复制频率，但是它不提供任何用于转换或过滤数据的工具。 Skyvia提供了类似的产品，并且都具有免费层，让开发团队可以尝试集成。 Alooma是Google Cloud的一部分 ，致力于将数据移动到Google BigQuery，Amazon Redshift和Snowflake等大数据平台，并提供一些数据转换功能。

如果您的组织正在使用许多SaaS平台，那么“一刀切”的战略可能行不通。 每个集成路径都支持不同的SaaS集成，并且集成的类型必须符合预期的业务需求。 审查工具并考虑多种选择是最佳实践，尤其是在数据集成需求变化时。

From: https://www.infoworld.com/article/3519930/how-to-query-and-extract-data-from-saas-applications.html