超级独角兽 Databricks 的崛起之路

最新推荐文章于 2024-11-12 23:14:56 发布

CnosDB

最新推荐文章于 2024-11-12 23:14:56 发布

阅读量2.4k

点赞数 2

分类专栏：局外Jesse论_Infra 文章标签：大数据 spark 分布式 Databricks

本文链接：https://blog.csdn.net/CnosDB/article/details/130665115

版权

局外Jesse论_Infra 专栏收录该内容

38 篇文章 0 订阅

订阅专栏

Databricks作为ApacheSpark的核心开发者，提供数据湖和数据仓库一体化平台，帮助企业应对数据存储和分析的挑战。其产品如DeltaLake和MLflow支持数据分析和机器学习。尽管面临Snowflake等竞争对手和云服务商的压力，Databricks仍保持快速增长，成为一级市场的超级独角兽。

摘要由CSDN通过智能技术生成

在数据扩张以及 AI 兴起的时代，数据存储和分析平台拥有巨大价值和能量。

随着互联网数据的爆炸性增长，数据已经成为企业的新型资源，犹如石油般重要。越来越多的企业希望利用各种结构化和非结构化数据来发挥自己的优势。

然而，他们面临着复杂的遗留基础设施、数据孤岛的解决以及高延迟的管理等挑战。因此，数据湖的需求逐渐增长。数据湖是一种存储库，能够以本机格式摄取大量原始数据，使企业能够在需要时轻松地访问它们。

Databricks 是目前一级市场中的超级独角兽公司。其帮助企业准备用于分析的数据，支持采用机器学习和数据驱动的决策。它还使数据科学能够与数据工程和其他业务部门协作来构建数据产品。今天，它已经扩展成为一个更广泛的湖仓一体的 Databricks Marketplace。

01 旅程始于 Apache Spark

Databricks 团队由七位计算机科学博士组成，他们一直致力于开发用于数据处理的 Spark 引擎。该项目在 2014 年创造了数据排序速度的世界纪录。

为了让更多用户使用 Spark，他们选择将其开源，并在 2013 年创立了 Databricks 公司。同年，该公司完成了 A 轮融资，由 A16z 领投。2016 年 1 月，Databricks 更换了新的 CEO。一年后，该公司完成了第一笔百万美元的交易。

总体而言，Databricks 团队是 Apache Spark 的核心开发者，具有绝对的影响力和理解力，因此作为 Spark 的商业化公司，Databricks 名正言顺。

02 拓展产品线助力收入多元化

Databricks 最初专注于 Spark，用于查询存储在数据湖中的大型非结构化数据集。此后，为迎合市场，Databricks 升级为湖仓一体平台，其基于 Spark 构建，提供为数据湖提供 ACID 事务和数据版本控制的 Delta Lake；用于管理机器学习工作流程的开源平台 MLflow；以及基于 SQL 的数据分析协作工具 Redash。

总体来看，Databricks 湖仓一体平台结合了数据湖和数据仓库的元素。它具有数据湖的灵活性、成本效益和规模，同时还提供数据仓库的数据管理和 ACID 事务。用户可以在所有数据上启用商业智能和机器学习。

Databricks 产品在 AWS、Azure、GCP 等主要云服务上提供，其平台为数据、分析和机器学习工作提供了一个统一的环境。可视化可以成为这些不同活动的组成部分。

来源：Databricks

03 数据湖市场增长，用户横跨大中小

Databricks 相信企业正在摆脱孤立的系统来存储数据，而是选择集中式的数据存储。这种方法帮助企业通过商业智能和预测分析深入了解过去和未来的趋势。

数据湖技术正是基于此，其允许将所有数据类型和来源存储在一起。数据表明，数据湖市场将由 2019 年的 79 亿＄增长到 2024 年的 201 亿＄。

来源：marketsandmarkets

此外，Databricks 的客户横跨大中小企业，以及各个行业。截至 2023 年 03 月，其全球已有超过 9000 家企业用户。包括 AT&T、壳牌、巴宝莉、丰田、Adobe、康泰纳仕和再生元制药等。

如果我们用 Databricks 2022 年 Q2 末的 ARR 10亿＄除以它 2022 年 Q2 末 7000+的客户数量，我们可以粗略估算 Databricks 的 ACV（平均合同价值）约为 14.3 万美元，相比 Snowflake 的 30.1 万＄ (2023.Q3 估算)，仍有提升空间。

04 三类对手的夹击

2012 年，前 Oracle 架构师创立的 Snowflake 是 Databricks 不可忽视的对手。最初，Snowflake 将自己定位为提供数仓和分析计算工作负载的云数据平台，主要面向业务分析师和数据工程师等用户。同期，Databricks 则一直受数据科学家和机器学习工程师的青睐。

但现在二者的界限在模糊，比如 Snowflak 发布了 Snowpark for Data Science、事务数据库以及 Python 支持功能，希望以此吸引数据科学家。而 Databricks 则推出了 Databricks SQL、Delta Lake 功能和 Unity 目录等产品，以满足数据存储和注重安全的客户。

从模式来看，Snowflake 是闭源生态，而 Databricks 是开源的。Databricks 的主要产品线都可以免费使用，当客户需要获得更高级的功能和支持时，可以选择 Databricks 的企业产品。Snowflake 提供现成的解决方案，使公司能够快速开展基本分析，而 Databricks 提供更好的定制和配置，让客户能够完全控制他们的设置。

2022 年底，Snowflake 的年收入 21 亿＄，而 Databricks 预计年收入 14亿＄。预计两家的竞争会愈发激烈。

第二类竞争对手是云厂商。Databricks 与云厂商的专有产品存在竞争。比如在大数据处理方面，AWS 有 Amazon EMR，Azure 有 Azure HDInsight，GCP 有 Dataproc。在业务分析解决方案层面， Amazon QuickSight、Azure的 Power BI Embedded 以及 GCP 的Looker 等，都与 Databricks 存在竞争。

最后，Databricks 与特定的数据管理和科学领域解决方案公司也存在竞争。比如 Databricks 的调度程序类似 Apache Airflow，MLflow 产品与 DataRobot 和 Alteryx 竞争。

05 收入持续增长，资本认可的超级独角兽

Databricks 本身是开源软件，其会通过提供附加功能收费。Databricks 会为企业提供其开源软件的完全托管版本，以及其他辅助工具，如用于编写查询的 SaaS 工具和用于连接数据源的连接器等。

付费模式方面，Databricks 根据客户每秒消耗的计算资源量收费。为此，其使用了一种自己独创的 DBU 作为其标准化单位，工作负载消耗的 DBU 数量取决于多个指标，包括使用的计算资源、处理的数据量、区域、所处的分级定价层以及正在使用的服务类型等。

此外，为了吸引用户，与其他开源公司类似，Databricks 也为用户提供了 14 天免费试用期。

来源：Databricks

财务方面，Databricks 也实现了跨越式的增长。2019.Q3 结束时其 ARR 为 2 亿＄，2020 全年收入 4.25 亿＄，2021 年 ARR 超 8 亿＄。截至 2022 年 08 月，Databricks 的 ARR 已经超 10 亿＄，并且年增长超过 70%。

截至 2021 年 08 月 Databricks 的估值 380 亿＄，总共在资本市场筹集了 35 亿＄，其投资者也星光璀璨，包括 A16z、Tiger Global、Amazon Web Services、Microsoft、Coatue 等。

当然也有消息透露，2022 年 10 月 Databricks 降低了内部股价，使其估值下调至 310 亿＄，比 2021 年同期下降约 7%。但无论如何，Databricks 仍然是一级市场中的超级独角兽。

06 趋势、机遇与风险

随着云存储成本下降和网速提升，企业越来越多地选择将所有数据存储在中央存储库，而不是将不同的数据类型单独存储。这种集中化趋势帮助公司通过实时商业智能和预测分析更好地了解业务运营。同时，数据爆炸式增长也使公司维护多个大型数据存储变得不切实际，从而导致数据湖和数据仓库融合到一个平台中。

ChatGPT 一直是各行业的热点。Databricks 也迎接了这一浪潮，其湖仓一体平台允许数据团队存储和保护数据、生成分析和见解，并推动机器学习工具的开发。此外，Databricks 还提供与 TensorFlow、PyTorch 等流行人工智能框架的集成，使构建和部署机器学习模型变得容易。

Databricks 依靠 AWS、Azure 和 GCP 这类云基础设施供应商来提供服务。回望过去，与微软的合作是 Databricks 的里程碑，这帮助其收入从 2017 年初的不到 100 万＄增长到 2018 年的超过 1 亿＄。如果与主要云厂商关系发生变化，将影响 Databricks 的服务能力。

综上所述，我们有理由相信虽然面临挑战，但在这个数据扩张以及 AI 兴起的时代，Databricks 为企业提供的单一的数据存储和分析平台是有价值的，其很有机会和能力抓住这一浪潮。