流处理
文章平均质量分 84
流处理技术分享
PONY LEE
运动不息,生命不止!
展开
-
Timeplus-proton流处理器调研
Timeplus是一个流处理器。它提供强大的端到端功能,利用开源流引擎Proton来帮助数据团队快速直观地处理流数据和历史数据,可供各种规模和行业的组织使用。它使数据工程师和平台工程师能够使用 SQL 释放流数据价值。Timeplus 控制台可以轻松连接到不同的数据源(例如 Apache Kafka、Confluence Cloud、Redpanda、NATS、Web Socket/SSE、CSV 文件上传等)、通过 SQL 查询探索流模式、发送实时见解和向其他系统或个人发出警报,并创建仪表板和可视化。原创 2024-02-29 11:28:47 · 1182 阅读 · 0 评论 -
RisingWave最佳实践-利用Dynamic filters 和 Temporal filters 实现监控告警
刚过了年刚开工,闲暇之余调研了分布式SQL流处理数据库-RisingWave,本人是Flink(包括FlinkSQL和Flink DataStream API)的资深用户,但接触到RisingWave令我眼前一亮,并且拿我们生产上的监控告警场景在RisingWave上做了验证,以下是自己的心得体会:RisingWave架构简单,运维成本底,基于云原生(可以分别基于计算和存储动态伸缩),同时在开发上屏蔽了Flink等实时处理框架底层需要处理的一些技术细节(状态存储,数据一致性,分布式集群扩展等)。原创 2024-02-23 21:33:34 · 1020 阅读 · 0 评论 -
RisingWave的动态过滤器和时间过滤器的用法
动态过滤器能够实时过滤数据流,并允许定义传入数据必须满足的条件才能进行处理。动态过滤器demo测试数据消费。时间过滤器允许根据特定时间(例如当前时间、特定日期或日期范围)过滤数据原创 2024-02-21 21:27:32 · 465 阅读 · 0 评论 -
RisingWave分布式SQL流处理数据库调研
RisingWave 提供与 PostgreSQL 兼容的标准SQL接口。用户可以像使用 PostgreSQL 一样处理数据流。屏蔽了实时处理底层需要遇到的一些技术细节(状态存储,数据一致性,分布式集群扩展等),供应用方快速的开发实时数据流,进行流式ETL。具有以下特性:同步的实时性(可以保证实时的新鲜度,doris等OLAP引擎采用异步实时)、强一致性(doris等OLAP引擎仅提供最终一致性)、高可用、高并发、流处理语义、资源隔离。可以应用在一些数据看版,监控,实时指标等场景。原创 2024-02-20 19:05:38 · 1231 阅读 · 0 评论