PipelineDB
子段知秋
这个作者很懒,什么都没留下…
展开
-
PipelineDB流式计算(六)- 滑动窗口
目录滑动窗口快速示例滑动聚合失效时间步长因子滑动窗口连续视图会随时间持续不断地更新,因此PipelineDB能够结合当前时间来更新连续视图的结果。包含与当前时间相关的时间条件查询称为滑动窗口查询,WHERE子句过滤或接受的事件集会随着时间不断变化。滑动窗口WHERE子句有两个重要组成部分:clock_timestamp ( ):返回当前时间戳的内置函数。arrival_timestamp:所有传入事件的一个特殊属性,即,PipelineDB接收它们的时间。PipelineDB在内部执行此操作,仅原创 2020-12-04 17:04:13 · 508 阅读 · 1 评论 -
PipelineDB流式计算(五)- 数据流
目录数据流创建Stream数据流输入INSERTPrepared INSERTCOPY其他输入端数据流输出滑动窗口场景Delta流数据流流(Stream)是一种抽象,允许客户端通过连续视图推送有时间顺序的数据。数据行(或简单的事件)与常规关系表的行完全相同,即,将数据写入流的接口与写入表的接口相同。然而,流的语义与表有根本的不同。也就是说,事件只存在于流中,直到它被连续视图从流中读取所消耗,因此,用户不能从流中进行数据的选择,只能将流作为连续视图的输入。创建Stream流在PipelineDB中表原创 2020-12-04 11:45:33 · 653 阅读 · 0 评论 -
PipelineDB流式计算(四)- 连续转换
目录连续转换创建连续转换删除连续转换查看连续转换输出流内置变换输出函数创建自定义输出函数连续转换连续转换用于传入的无需存储的时间顺序数据,由于没有存储数据,因此连续转换不支持聚合。转换的结果可以通过管道传输到另一个流或写入到外部存储单元。创建连续转换转换被定义为带有转换动作参数集的PostgreSQL视图。下面是创建连续转换的语法:CREATE VIEW name (WITH action=transform [, outputfunc=function_name( arguments ) ])原创 2020-12-03 14:44:11 · 268 阅读 · 0 评论 -
PipelineDB流式计算(三)- 连续视图
目录连续视图创建连续视图删除连续视图清空连续视图查看连续视图连续视图PipelineDB的基本抽象称为连续视图。连续视图与常规视图非常相似,不同之处在于它从流和表的组合中选择作为输入,并在向这些输入写入新数据时进行增量实时更新。流数据一旦被使用它的连续视图读取,便会被丢弃,原始的数据不会存储在任何地方。对于一个连续视图而言,惟一持久化的数据是通过从SELECT * FROM current_view返回的数据。因此,我们可以将连续视图看作是一个非常高吞吐量的、实时的物化视图(Materialized原创 2020-12-01 20:28:28 · 341 阅读 · 0 评论 -
PipelineDB流式计算(二)- 模拟数据流(Psycopg2)
目录模拟数据流安装Psycopg2适配器简介安装过程问题及解决方案编写数据流模拟脚本Psycopg2方法说明模拟数据流模拟数据流由于pipelinedb.com在国内的网络不稳定,通过curl命令访问http://pipelinedb.com/data/wiki-pagecounts持续获取数据经常出现超时的状况。并且,随着对PipelineDB理解的加深,单一的数据源结构可能无法满足后续的实践。所以,制作一个简单的脚本,用以模拟不断输入的数据流。系统环境:Windows 7脚本语言:Python原创 2020-11-26 15:36:51 · 502 阅读 · 1 评论 -
PipelineDB流式计算(一)- PipelineDB安装部署
目录PipelineDB安装部署安装PostgreSQL安装PipelineDB安装依赖项安装PipelineDB初始化PostgreSQL创建PipelineDB扩展快速示例PipelineDB安装部署系统环境:CentOS 7安装PostgreSQL由于PipelineDB作为PostreSQL的扩展运行,所以首先安装PostgreSQL。# Install the repository RPM:sudo yum install -y https://download.postgresql.原创 2020-11-25 16:30:25 · 414 阅读 · 0 评论