https://risingwave.com/

本文将从架构、部署与可扩展性、Source 和 Sink、生态系统与开发者工具几个方面比较 ksqlDB 和 RisingWave 这两款领先的流处理系统。

十年前的大数据运动强调数据的体量、速度和多样性，但传统技术如 Hadoop 主要解决数据体量问题，未能广泛应用于实时数据处理。新一代流处理系统如 RisingWave 和 Materialize 结合流处理引擎和传统数据库的优势，使用 SQL 作为标准 API，并包含内置存储层，简化了部署和管理，提高了实时数据处理能力。

用户定义函数（User Defined Function，以下简称 UDF）是数据系统中的常见功能。它允许用户使用各种语言定义自己的函数，作为内置函数的补充，以实现各种定制化执行逻辑。通过 UDF，我们可以将多个已有函数组合起来形成新函数，简化查询逻辑；也可以使用 Python 等语言编写代码，借用其它语言的生态，填补 SQL 语言和内置函数表达能力的不足；除了纯计算以外，我们还可以调用外部系统 API，将外部服务集成到统一的数据处理管线中。可以说，UDF 的存在极大提升了数据处理系统的灵活性和扩展性。

本文介绍了能够整合 RisingWave、WarpStream 和 Grafana 的实时网站监控系统。整个系统的设置过程清楚简单，要监控每个指标，您只需要在 RisingWave 中创建一个物化视图并在 Grafana 中进行可视化。上文展示的分析仅作为示例，为您提供灵感。如果您的数据点已经准备就绪，并提供必要的数据，可以尝试更复杂的分析和转换逻辑。欢迎您的进一步探索，如有任何问题或需要帮助，请随时联系我们。

RisingWave 可在事件发生时即时处理事件数据，其内置的 ScyllaDB 连接器可实时将处理后的数据导出到 ScyllaDB。设想一下电子商务中的个性化推荐场景，通过连接点击流和产品目录流，我们可以实时分析用户的偏好并提供个性化推荐。以上是一个简单的用例示范，除此之外，使用 RisingWave，您可以轻松地过滤、连接和转换流数据，轻松表达复杂的转换逻辑。结合 RisingWave 的流处理功能和 ScyllaDB 的高性能 NoSQL 数据库，可为构建事件驱动应用和数据管道提供有效的解决方案。

在构建事件驱动应用时，人们面临着两大挑战：1）低延迟处理大量数据；2）实现流数据的实时摄取和转换。结合 RisingWave 的流处理功能和 ScyllaDB 的高性能 NoSQL 数据库，可为构建事件驱动应用和数据管道提供有效的解决方案。

​本教程介绍了如何使用 RisingWave 和 Kafka 构建实时威胁检测系统。使用 RisingWave 和 Kafka 分别进行流处理和数据传输，可为实时威胁检测提供强大的基础设施。通过在 RisingWave 中创建物化视图，可以高效查询和分析流数据，而 Kafka 则确保了系统不同组件之间的可靠数据传输。如果有兴趣深入了解，可从该GitHub 仓库获取本教程的完整代码，查看所有必要的脚本和配置。

RisingWave 采用存算分离架构，实现了高效的复杂查询、瞬时动态扩缩容以及快速故障恢复，并助力用户极大地简化流计算架构，轻松搭建稳定且高效的流计算应用。在实时性要求低的场景，用户可以基于 StarRocks 完成离线分析，而当实时性无法满足的时候，用户就可以基于 RisingWave 的大宽表开发物化视图。在实时打宽这一场景里，RisingWave 能够在较低的机器成本下，利用存算分离的能力，无需调优技巧，来支撑一个过去难以维护的 Join 链路。RisingWave 旨在提供的就是这样的能力。

作者：Yingjun Wu 在2021年初，我创立了，目标是推广流计算技术的普及。在过去的三年中，我不断的向市场布道RisingWave，希望RisingWave能够在流计算这一市场中占有一席之地。经过坚持不懈的努力，如今，RisingWave已被数百家企业采用，这些企业遍布多个领域，包括一些世界顶尖的金融交易、制造业、安全、航空航天等行业的公司。为大型企业提供优质服务总是能够令人感到兴奋。然而，与此同时，我始终在思考一个问题：为什么总是大公司？为什么不是中小型企业或者个人？

RisingWave 能够很好地解析由 Debezium 提取的 MongoDB 变更流。它的云原生存储使其可连接多个 MongoDB 集合，并创建可被其他服务使用的统一流。同时，RisingWave 支持 JSONB，可轻松处理 MongoDB 文档，为实时数据处理挑战提供了强大的解决方案。

RisingWave 对 Iceberg 的原生支持能为用户带来许多益处。通过集成 Iceberg v2 的高级功能，RisingWave 提高了效率和稳定性。这让 RisingWave 用户能够最大限度地发挥数据潜力，并从数据湖架构中提取有价值的见解。此次更新使用户能够充分利用 RisingWave 和 Iceberg 的优势，从而激发更多可能性。

在这篇博文中，我们介绍了一种流处理解决方案，用于实时监控维基百科中不同贡献者对多篇文章的编辑情况。我们从维基百科 API 中提取数据，并将其传输到部署在 Instaclustr 云中的 Kafka Topic。然后，我们在 RisingWave 创建了 Source 以摄取 Kafka 数据，并创建物化视图进行处理分析。为了更具体直观地展示所得信息，我们又利用 Superset 的强大功能对结果进行可视化，生成各类图表和综合看板。至此，我们即可全面且动态地了解维基百科的编辑情况。

为满足广大中文社区用户、开发者及流处理技术爱好者的需求，RisingWave 用户文档中文社区版今天上线了！中文版文档的推出，旨在为广大用户提供更便捷、高效的阅读体验，帮助大家深入理解并有效使用 RisingWave，发挥其更多的潜力。

dbt 是现代数据栈中的 Git，它原理简单易上手，但所提供的能力却覆盖了数据仓库构建流程的方方面面。随着实时数据仓库的普及，越来越多的用户开始青睐 dbt + RisingWave 的组合。RisingWave 降低了实时数据处理的门槛，而 dbt 则让数据团队的组织协作变得更加方便。

RisingWave对于查询的处理可以分为两大类，一类称为是Streaming Query，另外一类称为Batch Query。其中Batch Query对Join的处理方式和传统数据库的原理是一样的，处理的输入都是有界限的(bounded)数据集。而Streaming Query主要的表达形式是CREATE MATERIALIZED VIEW，Streaming Query的Join需要处理流上无界限(unbounded)的数据流。 流上Join的两个上游输入有任何数据变更都需要增量地计算出Join的变更

本文主要介绍如何在阿里云【容器服务 Kubernetes 版 ACK】上部署RisingWave集群。RisingWave 当前提供单机试玩模式，以及基于 K8s 的分布式部署模式，生产中我们只推荐后者。K8s 虽然上手门槛高，但只需按照本篇文章的步骤依次操作，你依然能轻松驾驭一个生产集群。

本文分享了 RisingWave Labs 创始人&CEO 吴英骏参加 Current 2023 后围绕 “SQL 到底适不适合流计算”进行的一系列思考，包括：SQL 的表达力、SQL 的受众、SQL 流处理的市场规模等等。

在成功将 RisingWave 部署到他们的 GKE 集群后，Kaito 的一位数据工程师仅用短短两周时间，就在单个RisingWave 集群上构建了超过 1000 个用户可见的分析仪表盘（物化视图）以及用于内部跟踪产品数据的仪表盘。这些仪表盘目前已经在生产环境中投入使用，为公司的数据分析和业务运营提供了重要支持。

流计算引擎与流数据库都是用于进行数据流处理，而他们的设计理念却有诸多不同之处。在本文，我就从两者的设计理念聊起，再详细讲解一下他们的使用场景以及未来发展的异同。

本文从内部实现的角度，深入对比了市面上常见的流计算系统，包括 Apache Flink、RisingWave、Spark Streaming、ksqlDB 等。希望这篇文章能在技术选型时对你有帮助。