- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 PipelineDB流式计算（六）- 滑动窗口
目录滑动窗口快速示例滑动聚合失效时间步长因子滑动窗口连续视图会随时间持续不断地更新，因此PipelineDB能够结合当前时间来更新连续视图的结果。包含与当前时间相关的时间条件查询称为滑动窗口查询，WHERE子句过滤或接受的事件集会随着时间不断变化。滑动窗口WHERE子句有两个重要组成部分：clock_timestamp ( )：返回当前时间戳的内置函数。arrival_timestamp：所有传入事件的一个特殊属性，即，PipelineDB接收它们的时间。PipelineDB在内部执行此操作，仅
2020-12-04 17:04:13
477
1
原创 PipelineDB流式计算（五）- 数据流
目录数据流创建Stream数据流输入INSERTPrepared INSERTCOPY其他输入端数据流输出滑动窗口场景Delta流数据流流（Stream）是一种抽象，允许客户端通过连续视图推送有时间顺序的数据。数据行（或简单的事件）与常规关系表的行完全相同，即，将数据写入流的接口与写入表的接口相同。然而，流的语义与表有根本的不同。也就是说，事件只存在于流中，直到它被连续视图从流中读取所消耗，因此，用户不能从流中进行数据的选择，只能将流作为连续视图的输入。创建Stream流在PipelineDB中表
2020-12-04 11:45:33
394
原创 PipelineDB流式计算（四）- 连续转换
目录连续转换创建连续转换删除连续转换查看连续转换输出流内置变换输出函数创建自定义输出函数连续转换连续转换用于传入的无需存储的时间顺序数据，由于没有存储数据，因此连续转换不支持聚合。转换的结果可以通过管道传输到另一个流或写入到外部存储单元。创建连续转换转换被定义为带有转换动作参数集的PostgreSQL视图。下面是创建连续转换的语法：CREATE VIEW name (WITH action=transform [, outputfunc=function_name( arguments ) ])
2020-12-03 14:44:11
260
原创 PipelineDB流式计算（三）- 连续视图
目录连续视图创建连续视图删除连续视图清空连续视图查看连续视图连续视图PipelineDB的基本抽象称为连续视图。连续视图与常规视图非常相似，不同之处在于它从流和表的组合中选择作为输入，并在向这些输入写入新数据时进行增量实时更新。流数据一旦被使用它的连续视图读取，便会被丢弃，原始的数据不会存储在任何地方。对于一个连续视图而言，惟一持久化的数据是通过从SELECT * FROM current_view返回的数据。因此，我们可以将连续视图看作是一个非常高吞吐量的、实时的物化视图（Materialized
2020-12-01 20:28:28
331
原创 PipelineDB流式计算（二）- 模拟数据流（Psycopg2）
目录模拟数据流安装Psycopg2适配器简介安装过程问题及解决方案编写数据流模拟脚本Psycopg2方法说明模拟数据流模拟数据流由于pipelinedb.com在国内的网络不稳定，通过curl命令访问http://pipelinedb.com/data/wiki-pagecounts持续获取数据经常出现超时的状况。并且，随着对PipelineDB理解的加深，单一的数据源结构可能无法满足后续的实践。所以，制作一个简单的脚本，用以模拟不断输入的数据流。系统环境：Windows 7脚本语言：Python
2020-11-26 15:36:51
476
1
原创 PipelineDB流式计算（一）- PipelineDB安装部署
目录PipelineDB安装部署安装PostgreSQL安装PipelineDB安装依赖项安装PipelineDB初始化PostgreSQL创建PipelineDB扩展快速示例PipelineDB安装部署系统环境：CentOS 7安装PostgreSQL由于PipelineDB作为PostreSQL的扩展运行，所以首先安装PostgreSQL。# Install the repository RPM:sudo yum install -y https://download.postgresql.
2020-11-25 16:30:25
394
原创 Citus分布式方案（七）- 集群管理
目录（七）集群管理选择集群的大小1. 分片的数量2. 多租户SaaS3. 实时分析初始硬件大小1. 多租户SaaS2. 实时分析集群扩容1. 添加一个数据节点2. 在不停机的情况下重新平衡分片3. 工作原理4. 增加一个协调节点（开发中）（七）集群管理在本节内容：从Citus集群中添加或删除节点，以及如何处理节点故障。选择集群的大小为了更容易跨节点移动分片或在失败节点上重新复制分片，Citus企业版提供了一个分片重均衡的扩展。在此之前，我们将了解下在生产环境中运行集群的配置。1. 分片的数量集群
2020-09-09 12:02:04
2854
原创 Citus分布式方案（六）- MX（企业版特性）
目录（六）MX（企业版特性）MX概述数据存取扩展原始事件表MX的局限性1. 必须通过协调节点的操作2. 其他查询限制（六）MX（企业版特性）Citus MX是Citus的一个新版本，它增加了从Citus集群中的任何节点使用Hash分布表的能力，即，在所有节点上打开多个连接来扩展查询吞吐量，该特性在高速执行水平扩展的小型读写时特别有用。Citus MX目前仅在Citus企业版中可用。MX概述在Citus MX架构中，所有节点都是运行Citus扩展的PostgreSQL服务器。一个节点作为协调节点，其他
2020-09-08 15:52:31
998
原创 Citus分布式方案 - 概念
目录节点协调节点与数据节点分布式数据表类型1. 分布表2. 参考表3. 本地表分片1. 分片定义2. 分片位置3. 分片备份协调定位并行查询节点Citus是一个PostgreSQL扩展，它允许数据库服务器（即节点）在一个Shared Nothing的架构中彼此协调。这些节点形成了一个集群，使得PostgreSQL能够比一台计算机使用更多的CPU内核来存储更多的数据，同时还允许通过向集群添加更多节点来扩展数据库。协调节点与数据节点每个集群都有一个起协调作用的特殊节点（其他节点称为数据节点）。应用程序将
2020-09-07 22:59:31
1223
原创 Citus分布式方案（五）- 时序表分区
目录（五）时序表分区表分区的意义在Citus上扩展时序数据1. 创建特定分区2. 自动创建分区（五）时序表分区应用程序在大多数场景下，都需要查询最近的信息，同时归档旧信息。为了处理这种工作负载，单节点PostgreSQL数据库通常会使用表分区将一个大表根据时间顺序数据分解为多个继承的表，每个表包含不同时间范围的数据。表分区的意义在一个大表中，删除行的代价是扫描查找要删除的行，然后清空已清空的空间。而Drop表分区，是一项与数据大小无关的快速操作，相当于简单地删除磁盘上包含数据的文件。对表进行分区还
2020-09-07 16:55:57
1204
原创 Citus分布式方案（四）- 实时数据处理
目录（四）实时数据处理数据模型1. 创建关系表2. 模拟数据流实时统计1. 数据归纳2. 处理过期数据统计优化1. HLL近似算法的应用2. 非结构化数据的处理（四）实时数据处理Citus提供对大型数据集的实时查询，以监控HTTP流量为例。每当客户端接收到HTTP请求时，服务就会接收到日志记录。应用程序会消化所有这些记录，并创建一个HTTP分析仪表板，如HTTP错误的数量等。我们关心的是，这些数据应该以尽可能少的延迟显示。数据模型我们将模拟一个结构不变的日志数据流，并将其直接插入到Citus中。实际
2020-09-07 15:15:01
656
原创 Citus分布式方案（三）- 多租户场景的应用（企业版特性）
目录（三）多租户场景的应用（企业版特性）资源的扩展1. 扩充新的节点2. 平衡节点数据大租户的处理1. ZIPF分布2. 混合大小型租户（三）多租户场景的应用（企业版特性）本节内容所使用的特性仅在Citus企业版中可用。资源的扩展多租户数据库的设计需要适应业务增长，以便存储未来规模下更多的数据。Citus可以通过添加新机器获得轻松扩展，并且无需进行任何更改或停用应用程序。1. 扩充新的节点通过重新平衡Citus集群中的数据，可以增加数据大小或客户数量，并根据需要提高性能。添加新机器允许您将数据保
2020-09-04 16:11:23
525
原创 Citus分布式方案（二）- 多租户场景的应用
多租户场景的应用（二）多租户场景的应用扩展关系数据模型1. 有效分发与隔离的数据模型2. 创建关系表结构并导入数据（二）多租户场景的应用本节内容：以多租户应用为例，介绍使用Citus对其进行建模以实现可伸缩性。我们将研究多租户应用程序的典型挑战，比如，不同租户间的隔离、扩展硬件以容纳更多数据、存储不同租户之间的不同数据。PostgreSQL和Citus提供了处理这些问题所需的工具。扩展关系数据模型我们通过一个跟踪在线广告表现的应用程序的数据模型，来模拟多租户场景下的关系模型。为了便于演示，我们简化模
2020-09-04 14:21:14
1142
1
原创 Citus分布式方案（一）- 多机集群安装部署（CentOS）
目录（一）多机集群安装部署 - CentOS安装Citus扩展1. 添加资源库2. 安装PostgreSQL与Citus扩展3. 配置连接安全认证4. 启动数据库服务，创建Citus扩展创建协调节点与数据节点1. 配置数据节点信息2. 验证部署是否成功（一）多机集群安装部署 - CentOS本节内容：介绍Linux机器上，通过RPM包设置多节点Citus集群。安装Citus扩展我们准备了三台CentOS服务器（虚拟机）作为演示环境。1. 添加资源库# Add Citus repository f
2020-08-27 20:37:53
1495
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人