CVTE 视源股份如何用 RisingWave 流数据库实现制造业实时化转型

RisingWave 中文开源社区

已于 2023-10-26 13:47:38 修改

阅读量181

点赞数

分类专栏：客户案例文章标签： 1024程序员节 sql 数据分析数据库

于 2023-10-24 16:51:30 首次发布

本文链接：https://blog.csdn.net/weixin_61169526/article/details/134015987

版权

客户案例专栏收录该内容

7 篇文章

订阅专栏

公司背景

CVTE （广州视源电子科技）是制造业领域的全球领军企业，以其在消费者和商业 LCD 显示技术方面的专业知识而闻名。该公司拥有近 10,000 名专业人员，其中有 60% 是研发工程师，这显示了公司对创新的深厚承诺。广州视源电子科技股份有限公司（以下简称 CVTE 视源股份）成立于 2005 年 12 月，注册资本为 70123.9045 万元，旗下拥有多家业务子公司，员工平均年龄约为 30 岁。

公司主营业务为液晶显示主控板卡和交互智能平板等显控产品的设计、研发与销售，产品已广泛应用于家电领域、教育信息化领域、企业服务领域等，始终致力于通过产品创新、研发设计提升产品的用户体验，为客户和用户持续创造价值。公司自成立以来，依托在音视频技术、信号处理、电源管理、人机交互、应用开发、系统集成等电子产品领域的软硬件技术积累，面向多应用场景进行技术创新和产品开发，通过产品和资源整合等能力在细分市场逐步取得领先地位，并建立了教育数字化工具及服务提供商希沃（seewo）、智慧协同平台 MAXHUB 等多个业内知名品牌。

经过 17 年的发展，凭借优秀的产品质量和对社会责任的担当，视源股份赢得了国内外众多机构、消费者的认可和赖，并获得 “2022 年全国科技创新企业 500 强”、“2022 中国制造业企业 500 强”、“2022 年度最爱雇主奖”等荣誉称号。作为国家制造业双创试点企业、国家技术创新示范企业、国家知识产权示范企业，视源股份正持续进取、锐意创新，在通向科技强国的道路上砥砺前行。

使用 RisingWave 之前的情况

随着 CVTE 业务的发展，公司内部系统越来越多，系统间数据交互越来越复杂，同时对实时性要求也越来越高。从2019 年开始就引入 PipelineDB 解决生产制造实时产能计算相关应用场景，后续也引入 KsqlDB，2021 年开始用知名商业版实时数据库 M 解决 MRP 物料计算过程中的的实时数据收集场景，后面逐渐应用于供应链、销售和财务等系统，满足业务系统实时获取相关系统的物料、BOM、销售订单、生产工单、库存和发货等信息，解决了视图数据计算时效性、数据库性能以及数据冗余等问题。

虽然知名商业版实时数据库 M 产品满足了 CVTE 的业务需求，但是也存在一些核心问题迫使它们寻求更好的流计算库替代它。

稳定性： CVTE 最关注的问题之一。在使用知名商业版实时数据库 M 的时候只支持单实例部署且是全内存架构，当遇到系统 bug 奔溃后，视图无法增量计算，全部需要重新计算，导致计算时间长，对业务影响大。
资源成本：CVTE 希望新的流计算库支持持久化方案降低内存消耗。知名商业版实时数据库 M 是全内存架构，而 CVTE 业务场景大部分实时计算视图的表记录在千万级别以上，且超过 10 个流内连接，所以对内存资源要求极高，部分机器内存配置在 1TB 以上。
可观察性： CVTE 发现有效地监控其流作业很困难。在评估源吞吐量、跟踪 Materialize 流作业创建进度以及通过系统知名商业版实时数据库 M 监控 CPU 和内存使用方面出现了问题。最简单的例子就是创建视图时不知道进度且不知道视图历史创建消耗的时间。
技术支持：跟知名商业版实时数据库 M 产品团队沟通效率低且对需求和问题响应慢。知名商业版实时数据库 M 是国外产品，沟通仅限于特定 APP，存在时差的同时也没有亚太地区专业的技术支持，当遇到重大问题无法及时处理。

为什么选择 RisingWave？

对当前系统不满意的 CVTE 开始寻找一个强大的替代品。RisingWave 引起了他们的注意。这个先进的分布式流数据库提供了一套功能，填补了他们先前系统的空白：

可靠性： RisingWave 具有持久化的一致性 Checkpoint。这不仅增加了流作业的可用性（允许在集群恢复后立即恢复流作业），还简化了维护。依托于 RisingWave 的可靠 Checkpoint 机制，工程师再也不必担心流作业恢复时需要全量重算的问题。
可扩展性： 该平台采用了解耦的计算存储架构。这便于无缝和高效的扩展。例如，CVTE 可以根据工作负载方便地扩展他们的计算资源，而不会影响存储资源。
高效连接： RisingWave 擅长提供稳定的多路流连接支持。考虑到 CVTE 需要在来自不同数据库的表上进行 Streaming Join，而且往往是超过 10 路的 Join，因此需要一个可以处理这种强度的系统。RisingWave 能够以秒级新鲜度支持多路 Streaming Join 的用例。
可观察性： RisingWave 为流作业带来了更好的可观察性。首先，该平台通过 Grafana 仪表板提供了一系列不同粒度的指标，非常适合连续监控。其次，流作业的内部状态是可以用 SQL 查询的，这对于 debug 非常有帮助。此外，由于流作业在 RisingWave 中是可查询的物化视图，并且RisingWave 的 SQL 与 PostgreSQL 兼容，可以直接对接 DBeaver 等工具，大大简化了 SQL 调试和数据相关问题的排查。
技术支持： RisingWave 团队以其对客户的持续且快速的支持让 CVTE 十分满意。RisingWave 始终对 CVTE 的需求保持敏感，协助他们进行部署和故障排除。此外，他们擅长迅速推出高优先级的功能增强和修复。

RisingWave 在 CVTE 的实施

CVTE 与 RisingWave 团队的合作始于大约一年前，重点是创新驱动的发展。起初，RisingWave 的架构仍在不断演变，并缺少了几个关键的系统集成特性，这限制了CVTE 只能进行基本测试和沙盒环境。

针对来自合作伙伴（包括 CVTE）的反馈和需求，RisingWave 在几个月内增强了其功能。这些进步包括了之前缺少的功能，从而满足了潜在客户的需求。

为了能尽快使用上 RisingWave，CVTE 的一名 SRE 使用 Kubernetes 完成了 RisingWave 的部署。此外，一名专业工程师在生产条件下验证了 RisingWave 的性能。如今，RisingWave 已成为 CVTE基础设施的不可或缺的部分，管理着众多的物化视图并增强了实时仪表板功能。其架构有效地管理复杂的流式数据库 Query，其中包括 10 多路 Streaming Join、Temporal Filter、聚合等等。该系统通过 debezium CDC 处理数据，并通过 JDBC 和 Kafka sink 将其数据 Sink 到下游数据库的能力非常出色。CVTE 的技术团队每天都通过 DBeaver UI 与RisingWave 进行交互。

展望未来，CVTE 打算扩大 RisingWave 的应用，进入新的用例以最大化这种合作潜力。

总结

CVTE，一个在 LCD 显示技术领域的全球领先企业，曾依赖知名商业版实时数据库 M 流处理系统来进行实时数据分析。但由于该系统在稳定性、可观察性和供应商支持方面的问题，CVTE 转向了 RisingWave，一个先进的分布式流数据库。RisingWave 提供了强大的可靠性、可扩展性、高效连接、出色的可观察性以及杰出的客户支持。CVTE 拥抱 RisingWave 的旅程，凸显了将技术解决方案与运营需求对齐的重要性。通过其创新的特性和坚定的客户支持，RisingWave 不仅解决了之前遇到的痛点，还将 CVTE 的实时数据分析操作提升到了新的高度。这一转变强调了在面对不断发展的业务要求时，适应性和追求最佳解决方案的关键重要性。