Dozer 退隐 —— 帮助任何开发者”在几分钟内“构建实时数据 apps

最新推荐文章于 2024-10-03 20:57:12 发布

GetDozer

最新推荐文章于 2024-10-03 20:57:12 发布

阅读量110

点赞数

文章标签：数据库数据仓库大数据

本文链接：https://blog.csdn.net/2301_76777067/article/details/130388572

版权

Dozer 获得了 Sequoia 和 Google‘s Gradient Ventures 的资金支持

英文原文：https://techcrunch.com/2023/04/03/dozer-exits-stealth-to-help-any-developer-build-real-time-data-apps-in-minutes/

在这里插入图片描述

数据已经成为全球最重要的资源之一，支撑着视频推荐机制、数字银行、蓬勃发展的人工智能等一系列应用。但在数据日益分布在不同的位置，从数据库到数据仓库再到数据湖等各种形式的存储，将其整合为兼容的格式以用于实时场景，可是一个巨大的任务。

简单来说，不需要即时、实时数据访问的应用程序可以在固定间隔的时间内简单地合并和处理数据。这种所谓的“批处理数据处理”对于处理每月的销售数据等任务非常有用。但是通常情况下，公司需要实时访问数据，因为这可能对依赖于每个销售的实时信息的客户支持软件非常关键。另外，ride-hail apps 也需要处理各种数据点，以便将乘客与司机联系起来 —— 这不是可以等个几天的事。这些情况需要所谓的“流数据处理”，其中数据被收集并组合以实现实时访问 —— 这样配置起来是更加复杂的。

而 Dozer 正是在解决这个问题，通过即插即用的数据基础架构后端，从任何数据源直接提供快速的只读 APIs。

Dozer 是由 Vivek Gudapuri 和 Matteo Pelati 大约一年前在新加坡成立的初创公司。这对创始已经组建了一个由10名成员分布在亚洲和东欧的团队，他们正准备将产品从目前的 “source available” 扩展到完全可商业化的产品。

分布式

已经有无数的工具旨在转换、集成和利用分布式数据，包括流数据库和 ETL（抽取、转换、加载）工具，如 Apache Flink、Airbyte 和 Fivetran；用于瞬态数据存储的缓存层，如 Redis；以及由像是 Hasura 或 Supabase 提供支持的用于在系统之间传输数据的即时 APIs。

就其本身而言，Dozer 跨越了所有这些不同的类别，采用其认为最好的部分，并消除了构建支持实时数据 apps 的基础架构和 plumbing 会产生的摩擦。

用户将 Dozer 接入其现有的数据堆栈中，其中可能包括 databases, data warehouses, and data lakes，Dozer 负责实时数据提取、缓存和索引，并通过低延迟 APIs 呈现。因此，虽然像 Airbyte 或 Fivetran 这样的工具有助于将数据传输到数据仓库中，但 Dozer 专注于另一方面 —— “以最高效的方式使数据可访问”，Gudapuri 向 TechCrunch 解释道。

Gudapuri 表示，Dozer “采用了一种高效的特定方法”，专注于解决非常具体的问题，而不是更多的问题。例如，传统的流式数据库是可以解决很多 Dozer 所提供范围外的问题，但 Dozer 的重点是在单个产品中提供实时数据更新和 APIs 服务。

“我们在这些类别中只解决了恰到好处的问题，以为开发者提供快速的构建体验和即插即用的性能，” Gudapuri 说。“开发者（目前）还得集成多个工具来实现相同的功能。”

举个例子，现有的流式数据库可能会尝试向用户呈现完整的数据库体验，包括查询引擎、数据探索、OLAP（(online analytical processing 在线分析处理）等等。Dozer 特意不提供这些功能，而是专注于使用 SQL、Python 和 JavaScript 创建 Pelati 所说的“pre-computed views”，所有这些视图都可以通过低延迟的 gRPC 和 REST APIs 访问。”

Pelati 表示，正因为这样，Dozer 承诺可以在数据查询延迟方面做得更好。

Pelati 说：“由于这些设计选择，Dozer提供了更优秀的查询延迟，这对于面向客户的应用程序是很必要的。一个开发人员可以在几分钟内启动整个数据 apps，而这通常需要几个月的时间和精力。一个团队不必构建和维护多个集成，节省了时间和金钱。”

一些公司自己创建了他们自己的内部工具来解决与 Dozer 类似的问题，包括几年前构建 Bulldozer 的 Netflix。值得注意的是，Bulldozer 的主要创作者之一， Ioannis Papapanagiotou，现在担任 Dozer 的顾问。

Dozer 还处于早期阶段，但凭借来自一大批知名投资者的300万美元资金，该公司在推进商业化方面资金相对充裕，其中包括推出一个托管的 SaaS 版本，配备一堆附加功能。 Gudapuri 表示，他们期望在未来几个月推出此服务。

“托管服务将负责自动缩放、即时部署、安全、合规、速率限制和一些附加功能”，Gudapuri 说。