Qlik 提高 Databricks 性能和 AI 计划的 6 种方法

数据工程师和架构师被要求对企业数据进行比以往更多的处理。然而，企业想要用数据做什么和如何实现数据之间的知识差距日益扩大——特别是考虑到当今的人工智能炒作周期。面对市场上的喧嚣，很容易看出组织如何努力跟上创新的步伐。 Qlik 和 Databricks 合作，通过提供一些真正的解决方案来帮助缩小这一差距，帮助架构师和工程师满足不断增长的业务需求。

免费试用Qlikhttps://www.evget.com/product/3996/download

本博客总结了我们的最佳实践技术指南中的关键见解，该指南提供了实用的技巧和技术，可帮助您从 Databricks 投资中获得更多收益，并改进数据在分析和 AI 计划中的交付和转换。

1. 大规模自动捕获变更数据。
   通过跨不同数据源自动执行变更数据捕获 (CDC)，公司可以消除手动数据提取，并通过架构演进和转换功能简化数据实时移动到 Databricks Lakehouse 平台，从而为原始源数据 AI 做好准备。

2. 性能优化：文件大小配置。
   借助 Qlik Replicate、Change Data Capture，组织可以在将数据加载到表中之前调整数据复制的最大文件大小（以 MB 为单位）。配置文件大小可以提高初始完全加载期间的性能。然后，Databricks 用户可以尝试持续复制文件大小并根据特定用例进行微调。

3.对大型表进行分区可最大限度地提高 Databricks 的性能价值。
Databricks 提供了对 Delta 表进行分区的功能。建议对可能成为应用程序流程瓶颈的大表进行分区。

集群利用率——未分区

集群利用率 – 分区

1. 自动优化选项。
   通过配置集群以获得最佳性能，使用 Qlik 和 Databricks 微调效率。禁用 autoCompact 并启用 optimizeWrite。此配置可防止延迟问题并最大限度地提高 Delta Lake 内的数据查询速度。安排定期优化以进一步提高查询速度并保持峰值性能。

2. 动态工作负载卷的自动缩放。
   通过监控集群性能并根据实时使用和测试调整集群配置来自动缩放动态工作负载量。这确保了最佳的资源分配和效率。这种自适应方法可以扩大或缩小规模，以有效地满足数据集成任务的需求。

3. 使用 Qlik 定制 SQL 仓库。
   Qlik 根据特定要求（例如网络拓扑、延迟、表结构、更新频率和驱动程序版本）提供配置 SQL 仓库的定制建议。

这些只是 Qlik 和 Databricks 可以为您的集成提供的一些免费属性。下载 Qlik Cloud Data Integration with Databricks Best Practices Guide，了解如何实施上面分享的见解。从将 ETL 流程转换为 ELT、配置集群以实现最高效率以及利用自动扩展功能，本指南展示了您今天可以采取的实际步骤，以从 Databricks 投资中获得更多收益。