openLooKeng postgreSQL connector for update/delete table

最新推荐文章于 2022-10-15 15:11:06 发布
最新推荐文章于 2022-10-15 15:11:06 发布
阅读量445 收藏
点赞数
文章标签： postgresql 数据库 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34101003/article/details/121967587
版权

相关背景

需求

当前openLooKeng postgreSQL connector不支持对数据表的update和delete操作，本文拟在openLooKeng框架的基础上，开发postgreSQL connector支持update/delete操作的代码。

openLooKeng语句执行流程

一条SQL语句的执行的整体流程如下图所示：
在这里插入图片描述
这里面主要涉及到两种类型的节点，分别为Coordinator和Worker节点。

  • Coordinator 节点是用来解析语句，执行计划分析和管理 openLooKeng 的 Worker 节点，同时Coordinator 跟踪每个 Work 的活动情况并协调查询语句的执行。Coordinator 为每个查询建立模型，模型包含多个Stage，每个Stage再转为Task 分发到不同的 Worker 上执行。
  • Worker 是负责执行任务和处理数据。Worker 从 Connector 获取数据。Worker 之间会交换中间数据。Coordinator 是负责从 Worker 获取结果并返回最终结果给 Client。

具体步骤为：

  1. 客户端通过协议发送一条查询语句给openLooKeng集群的Coordinator；
  2. Coordinator接手到客户端传送到的查询语句，对语句进行解析、生成查询执行计划，根据查询执行计划一次生成sqlQueryExecution->sqlStageExecution->HttpRemoteTask；
  3. Coordinator将每个task分发到所需要处理的数据所在的Worker节点上执行；
  4. Task通过Connector从数据源中读取数据，并执行Source Stage的task；
  5. 处于下游的Stage中的task会读取上游Stage产生的输出结果，并在该Stage的每个task所处的Worker的内存中进行后续处理；
  6. Coordinator从发布的task后，持续地从Singe Stage中的task获取结果，并将结果缓存到buffer中，知道查询结束；
  7. Client从提交查询之后，会持续地从Coordinator获取本次查询的计算结果，知道获得所有的计算结果。

openLooKeng内核调用

openLooKeng的多源查询能力是通过 Connector 机制来实现的。其中MySQL、postgreSQL等Connector是主要是通过presto-base-jdbc中的代码来实现对SQL等数据源的读写。

openLookeng内核调用
其中openLooKeng-spi中主要定义了一些公共接口，供openLooKeng-main中的代码进行调用。

openLooKeng-base-jdbc是数据库连接器的公共模块，对openLooKeng-main进行了实现和补充。其代码经过编译后，会对应加载到mysql-plugin等插件中，实现mysql对数据源的访问功能。base-jdbc本身自己不会编译单独的插件。

通过断点调试，对openLooKeng接受一条update SQL语句的函数栈调用流程进行梳理总结，如下图所示。
在这里插入图片描述

结合源码分析，发现一条update语句在connector jdbc中的执行流程为beginUpdate()->getConnection()->buildUpdateSql()->setUpdateSql()->finishUpdate()。在这个过程中需要一个字段作为行标识符来表示数据行。

其中buildUpdateSql将openLooKeng传入的update SQL语句转换为connector更新时的预编译语句，这里用到获取的行标识符作为where的筛选条件；setUpdateSql作用是以where条件对数据行进行更新。

因此若想要实现postgreSQL conncetor的update/delete table功能，我们需要重写上述函数即可完成。

代码实现

方案设计及论证

通过前期的调研，共形成了以主键为标识符和以ctid字段为标识符的两种开发方案。

方案一：以主键为标识符

主键的定义为：表中经常有一个列或列的组合，其值能唯一地标识表中的每一行。由定义可知，主键对应到一张数据表中会设计到多种场景，分别为：没有主键、单字段主键以及多字段组合成的复合主键，因此需要考虑的情况较多。

方案二：以ctid字段为标识符

ctid表示数据行在它所处的表内的物理位置，ctid字段的类型是tid。尽管ctid可以快速定位数据行，每次vacuum full之后，数据行在块内的物理位置就会移动，即ctid会发生变化，所以ctid不能作为长期的行标识符。因此如果要以ctid字段为标识符进行代码开发，需首先验证ctid在同一事务中进行update/delete操作是否会发生变化。

ctid在同一事务中的变化情况

为了验证ctid字段能否用于postgreSQL的update/delete操作，我们分别在单线程和多线程的情况下去验证ctid在同一事务和不同事务的变化情况。

单线程

通过jdbc模拟了单线程，在线程中对数据表进行update操作，分别查询update前后的信息，观察ctid的变化情况。
在这里插入图片描述
autocommit=false时，结果显示ctid未发生变化：

autocommit=true时，结果显示ctid发生变化：
在这里插入图片描述

多线程

同理，通过jdbc模拟了两个线程，在两个线程中分别对数据表进行update操作，分别查询update前后的信息，观察ctid的变化情况。

autocommit=false时，结果显示ctid未发生变化：
在这里插入图片描述
autocommit=true时，结果显示ctid发生变化：
在这里插入图片描述
由验证实验结果来看，在同一事务中，update未提交前或者回滚之后ctid是不变的。

开发方案选择

综合对比两种方案，其优缺点对比如下：

方案优点缺点
主键1、每一数据行的标识符能够始终保持不变。1、场景复杂，需考虑数据表无主键、单字段主键及多字段复合主键等多种情况；
2、不太适合现有openLooKeng下推框架。
ctid字段1、ctid性质类似与rowid，代码开发可借鉴性较高。1、需考虑在同一事务中对数据行进行update/delete。

综上所述，本文拟采用以ctid字段为行标识符进行代码开发。

ctid字段为行标识符的代码开发

autocommit设置为false，即保证能在同一事务中进行操作，ctid是可以保证唯一性的。而PostgreSql的继承关系为
在这里插入图片描述
因此我们的主要开发重点在于重写beginUpdate()-> getConnection()-> buildUpdateSql-> setUpdateSql ->finishUpdate()

**getUpdateRowIdColumnHandle()**用于获取行标识符
在这里插入图片描述
beginUpdate()
在这里插入图片描述
getConnection重写BaseJdbcClient该方法，用于将只读模式设为false，以便于进行更新操作
在这里插入图片描述
buildUpdateSql将openLooKeng传入的update SQL语句转换为oracle更新时的预编译语句，其内部调用关系为

	buildUpdateSql()
		buildRemoteSchemaTableName()
		getColumnNameFromDataSource()
			getColumnNameMap()

其中buildRemoteSchemaTableName()获取数据表名，getColumnNameFromDataSource()用于从源数据中获取要更新的字段名，getColumnNameMap()用于构建字段名的映射关系，将原始字段统一转换为小写字母。具体实现如下图所示：
在这里插入图片描述
setUpdateSql是以where条件对数据行进行更新，其内部调用关系为

	setUpdateSql()
		setStatement()

其中setStatement()用于对需要更新的字段根据数据类型进行赋值。具体实现如下图所示：
在这里插入图片描述

到此，我们完成了postgreSQL connector的update功能代码，而delete功能代码与此具有很大的相似性，此处不做展开讲述，具体可参考PostgreSqlClient实现。

功能展示

此处我们简单演示postgreSQL connector的update/delete特性。首先需对代码进行编译，运行**mvn clean install -DskipTests -T 1C即可，编译完成之后，拷贝hetu-server-1.5.0-SNAPSHOT文件夹及hetu-cli-1.50-SNAPSHOT-executable.jar包。紧接着相关配置可参考社区文档。

在web界面输入ip及端口号，显示
在这里插入图片描述
数据表已经建好，具体实例为
在这里插入图片描述
针对update，执行语句及结果包括

功能点SQL结果
boolean表达式update infomation set name = ‘Kitty’, age = 26, birthday = date’1995-08-16’ where id = 1;
update infomation set name = ‘Jane’, sex = ‘2’ where score = ‘good’;
update infomation set score = ‘qualified’ where salary = 10000.00;
update infomationa set age = age + 1, birthday = date’1998-08-16’ where age = 22;
update infomation setT salary = 36000 where birthday = date’1996-08-14’;
update infomation set score = ‘bad’, birthday = date’1995-10-16’ where name = ‘Jane’;		success
子查询update infomation set age=age+1 where salary=(select avg(salary) from data);
update infomation set salary=salary+1000 where age in (select age from data where birthday between date’1993-09-01’ and date’1997-08-31’);		success

针对delete，执行语句及结果包括

功能点SQL结果
boolean语句delete from infomation where name = ‘Bob’;
delete from infomation where birthday = date’1996-08-14’;
delete from infomation where salary = 15000;		success
子查询"delete from infomation where salary<(select avg(salary) from data);
delete from infomation set salary=salary+1000 where age in (select age from data where birthday between date’1993-09-01’ and date’1997-08-31’);		success
Anllick
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
openlookeng 扩展connector对接达梦和金仓
lslzz2019的博客
05-09 1044
**openlookeng** 扩展connector对接达梦和金仓
openLooKeng | Oracle update和delete支持简介及实现
openLooKeng的博客
01-29 2752
Oracle update和delete是openLooKeng在Oracle connector上提供的对Oracle数据源进行更新和删除操作的特性，此特性除实现对Oracle数据源update和delete操作的直接支持，还提供了适配开发接口，基于这些接口可以开发某些数据源的update和delete操作。 功能介绍 update和delete操作，先通过查询操作获取到满足条件的行，这些行每行有一个唯一的rowid的值来标识，然后对行数据进行update和delete操作，对于delete操作还提供额外
Openlookeng Redis Connector 移植
hxjgjg的博客
04-20 1007
Redis Plugin 初步配置 git clone 后在项目根目录下新建一个模块presto-redis 模块的初步配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati
OpenLooKeng
USTSD的博客
06-18 544
一、登录注册 网址为：https://tryme.openlookeng.io/，进入该网址后可以看到以下界面： 可以选择左边的GitHub或者右边的Gitee进行登录，如果没有账号需要注册一个账号进行登录，每个用户有一个openLooKeng集群。示例使用的是GitHub登录，点击左侧按钮可以看到以下界面： 二、熟悉界面 登陆成功之后可以看到以下界面： 该网页主要有四块内容，分别是区域一...
OpenLooKeng采用REST通信,包括CLI、JDBC与 Coordinator
app91的博客
05-12 468
将Statement 按照 OpenLooKeng求封装成REST请求,发送恰 Coordinator执行,包含以下请求： ​ 1. 提交查询请求 POST /v1/statement ​ 2. 查询直至查询完成： GET /v1/statement/{ID} ​ 3. 删除某个查询：DELETE /v1/statement/{queryId} 同时，OpenLooKeng需要提供加密和认证功能，需要支持HTTPS加密以及Basic与Kerberos认证。 Python客户端作为OpenLooKen
PostgreSQL TRUNCATE TABLE
12-16
PostgreSQL TRUNCATE TABLE PostgreSQL 中 TRUNCATE TABLE 用于删除表的数据，但不删除表结构。 也可以用 DROP TABLE 删除表，但是这个命令会连表的结构一起删除，如果想插入数据，需要重新建立这张表。 TRUNCATE ...
PostgreSQL DELETE 语句
12-16
PostgreSQL DELETE 语句 你可以使用 DELETE 语句来删除 PostgreSQL 表中的数据。 语法 以下是 DELETE 语句删除数据的通用语法： DELETE FROM table_name WHERE [condition]; 如果没有指定 WHERE 子句，PostgreSQL 表...
postgresql-connector-jar.zip
07-20
postgresql-connector-jar.zip
PostgreSQL v9.6.10 For Linux
10-07
PostgreSQL 是一个自由的对象-关系数据库服务器(数据库管理系统)，它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird)，和对专有系统比如
PostgreSQL v9.6.10 For Win
10-07
PostgreSQL 是一个自由的对象-关系数据库服务器(数据库管理系统)，它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird)，和对专有系统比如
Presto 动态过滤之计划生成
王飞活的博客
10-15 919
动态过滤子在Join的场景下可能会带来较好的性能提升，动态过滤的基本介绍可以参考openLooKeng基于选择率的动态过滤优化_openLooKeng的博客-CSDN博客。本文主要通过代码走读来了解Presto（其实是OpenLookeng）中执行计划中动态过滤部分是如何生成的，即下图中红框部分（图来自OpenLookeng）。
SparkDataFrame操作OpenLooKeng
L_Mr_ll的博客
04-15 2558
文章目录前言openLooKeng介绍SparkDataFrame读取openLooKeng 前言 前几天领导让用spark集成openLooKeng，可能熟悉openLooKeng的朋友知道openLooKeng是个基于sql的计算引擎，并非存储数据的软件；那么有人就会问了，既然你spark是计算引擎，openLooKeng也是计算引擎不存数据，那么为什么还要用spark集成openLooKeng；问就是我负责的项目特殊，领导要求先把项目的生态圈丰富起来！ openLooKeng介绍 因为要集成openL
OpenLooKeng / Presto Connector原理
一个狂徒的点滴记录、
11-17 2016
OpenLooKeng Connector 扩展 一、什么是Connector 我们知道在整个Presto工程中所有的功能都是以插件的形式实现，而Connector则是一种负责Presto与数据源进行交互的插件，不同的数据库对应于不同的Connector。 SPI（Service Provider Interface） SPI是JDK内置的服务提供/发现机制，它通过在ClassPath路径下的META-INF/services/目录中定义的文件，自动加载文件里所定义的类。该机制为很多框架的扩展提供了可能，如
openLooKeng初体验-单节点自动安装
cmwenxin1992的博客
07-02 2597
openLooKeng初体验-单节点自动安装 今天浏览新闻时看到华为近期开源了一款名为openLooKeng数据虚拟化引擎。正好最近在研究跨源跨域异构数据分析的问题，于是便继续了解了一下。访问其官方网站 感觉页面风格做得还挺简洁清爽。阅读了一些概念和简介，大概七七八八了解了个轮廓。 然后顺着首页quick start 指导，我准备动手实践一下。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QxUrZT5G-1593700761306)(images\homepage_qui
数据虚拟化引擎openLooKeng: 不搬运数据，只是数据的连接器
penriver的博客
01-06 4204
openLooKeng 是一款面向大数据库的数据虚拟化引擎，提供统一 SQL 接口，具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。 openLooKeng 使用了开源 SQL 引擎 Presto 来提供交互式查询分析基础能力，并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展，让数据治理、使用更简单。
华为正式开源数据虚拟化引擎openLooKeng
吾本樵夫 的技术专栏
08-03 917
华为正式宣布开源数据虚拟化引擎openLooKeng，开源社区官网（https://openlookeng.io）同步上线。openLooKeng致力于为大数据用户提供极简的数据分析体验，让用户像使用“数据库”一样使用“大数据”。 2019年11月19日，华为宣布开源数据虚拟化引擎HetuEngine（开源版本的HetuEngine叫openHetu），今日，openHetu正式更名为openLooKeng，HetuEngine更名为LooKengEngine。openLooKeng是一款开源的高性能数据虚
如何拥有自己的openLooKeng？超详细的安装配置指导看这里
openLooKeng的博客
09-03 1318
朋友们，如果您关注我们，知道openLooKeng近期赛事活动很多，前有暑期2021，后有信创大赛、互联网+比赛等等。基于大家在赛题准备上的一些疑问，小助手联合社区的老师们，为大家准备一些相关的技术文章，希望对您有帮助。如果您有想要交流的，欢迎在社区代码仓内提Issue。 社区代码仓 https://gitee.com/openlookeng 欢迎访问官网  https://openlookeng.io 本期主题 **01 **软件安装 说明：需要提前手动部署 jdk 1.1
删除postgresql数据库下所有的表
nobody
05-16 7910
递归删除postgresql数据库下的所有表： 执行如下SQL DO $$ DECLARE r RECORD; BEGIN -- if the schema you operate on is not"current", you will want to -- replace current_schema() in query with 'schematodeletetablesfrom' -- *and* update the generate 'DROP...' a
postgresql 清空数据表数据
热门推荐
m0_59586152的博客
07-02 1万+
TRUNCATE table_name; 即可，数据表会清空，而且自增id也会变回0；但在 postgresql 则稍有不同，因为 postgresql 的自增id是通过序列 sequence来完成的，所以清空数据后，还需要还原序列 sequence： TRUNCATE bigtable, fattable RESTART IDENTITY; 官方文档：https://www.postgresql.org/docs/9.2/static/sql-truncate.html 另一种方式：（因为版本不同，可
postgresql mybatis 批量update
最新发布
07-27
UPDATE your_table SET column1 = #{item.column1}, column2 = #{item.column2} WHERE id = #{item.id} </foreach> </update> ``` 确保将上述代码中的 `YourEntity` 替换为你的实体类名，`your_table` 替换为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值