ShardingSphere即将支持PostgreSQL代理

最新推荐文章于 2024-07-02 14:19:29 发布
最新推荐文章于 2024-07-02 14:19:29 发布
阅读量1.2k 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s/Z8oVZWB7DFqkVDHwVtLk7w#rd
版权

作者简介

张永伦，京东数科高级软件工程师，Apache ShardingSphere(Incubating) PPMC。长期从事分布式系统的高可用、高并发相关工作。热衷于网络IO、性能优化方面的技术挑战。目前专注于Sharding-Proxy的持续优化和PostgreSQL协议的开发工作。


ShardingSphere的第一个Apache Release将在近期发布，新版的Sharding-Proxy首次实现了对PostgreSQL的支持，欢迎试用。


在这个初始版本中，我们分别对PostgreSQL Server的8.4和10.4版本进行了一些基本的测试。


环境部署

只需配置一个yaml文件，即可实现分库分表功能，具体配置如下：


数据源配置

640?wx_fmt=jpeg

Sharding-Proxy内置HikariCP连接池用于连接物理PostgreSQL数据库。这里配置两个物理库，分别是demo_ds_0和demo_ds_1。


分片规则配置

640?wx_fmt=jpeg

逻辑上分为t_order和t_order_item两个表，表分片规则都是order_id % 2，所以每个库有四张真实表：t_order_0, t_order_1, t_order_item_0, t_order_item_1。库分片规则为user_id % 2。


完成配置后，启动Sharding-Proxy，使用PostgreSQL命令行客户端进行功能验证。pgjdbc驱动和HikariCP连接池也可以直接用，把Sharding-Proxy当成数据库就对了。


使用3307端口登录Sharding-Proxy

640?wx_fmt=png


执行INSERT

640?wx_fmt=png

order_id是偶数，user_id是奇数，说明这条记录被插入到demo_ds_1的t_order_0表中。连接真实数据库可以验证。

640?wx_fmt=png

执行SELECT

640?wx_fmt=png

执行UPDATE

640?wx_fmt=png

640?wx_fmt=png

执行DELETE

640?wx_fmt=png

640?wx_fmt=png


兼容性：

  • 支持PostgreSQL命令行

  • 支持pgjdbc

  • 连接池方面，重点测试了HikariCP


性能：

  • 单表查询的速度在6w左右（https://github.com/apache/incubator-shardingsphere/issues/1892）


目前只是初始版本，以后我们会持续的对功能和性能进行优化，尽快达到生产可用的状态。

欢迎大家一起参与完善，共同打造PostgreSQL的优秀生态。


关于ShardingSphere

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。


ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是非常值得推荐的。反之，也可以用另一种思路看待问题，放眼未来，关注不变的东西，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。


ShardingSphere目前已经进入Apache孵化器， 欢迎通过ShardingSphere的dev邮件列表与我们讨论。


项目地址：

https://github.com/apache/incubator-shardingsphere

更多信息请浏览官网： 

https://shardingsphere.apache.org

640?wx_fmt=jpeg

关于Sharding-Proxy

定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前提供MySQL/PostgreSQL版本，它可以使用任何兼容MySQL/PostgreSQL协议的访问客户端(如：MySQL Command Client, PostgreSQL Command Client等)操作数据，对DBA更加友好。它的特点是：

  • 向应用程序完全透明，可直接当做MySQL/PostgreSQL使用。

  • 适用于任何兼容MySQL/PostgreSQL协议的客户端。

640?wx_fmt=jpeg


Apache ShardingSphere（Incubating）自2016开源以来，不断精进、不断发展，被越来越多的企业和个人认可：Github上收获7000+的stars，70+公司企业的成功案例。此外，越来越多的企业和个人也加入到Apache ShardingSphere（Incubating）的开源项目中，为它的成长和发展贡献了巨大力量。


我们从未停息过脚步，聆听社区伙伴的需求和建议，不断开发新的、强大的功能，不断使其健壮可靠！

开源不易, 我们却愿向着最终的目标，步履不停！

那么，正在阅读的你，是否可以助我们一臂之力呢？分享、转发、使用、交流，以及加入我们，都是对我们最大的鼓励！

项目地址：

https://github.com/apache/incubator-shardingsphere


更多信息请浏览官网：

https://shardingsphere.apache.org/


640?wx_fmt=jpeg


扫码进群

640?wx_fmt=jpeg



ShardingSphere
关注
ShardingSphere分库分表
QQ418579986的博客
06-13 939
记录总结
我的架构梦：（五十三） 分库分表实战及中间件之ShardingSphere实战
riemann_的博客
10-13 1075
上一篇：我的架构梦：（五十二） 分库分表实战及中间件之实战背景 分库分表实战及中间件之ShardingSphere实战二、ShardingSphere实战1、ShardingSphere2、Sharding-JDBC3、数据分片剖析实战5、强制路由剖析实战6、数据脱敏剖析实战7、分布式事务剖析实战8、SPI 加载剖析9、编排治理剖析10、Sharding-Proxy实战 二、ShardingSphere实战 1、ShardingSphere Apache ShardingSphere是一款开源的分布式数据库
《童虎学习笔记》10分钟ShardingSphere搭建PostgreSQL读写分离
tonghu_note的博客
03-20 1729
1
【ShardingSphere-proxy +PostgreSQL实现读写分离（静态策略）】
小怪兽的博客
08-03 2384
在业务对数据库是读多写少，且单台服务器或者单个数据库的性能已经不能满足当前业务对数据库大量读取请求的时候，我们可能需要对数据库做。常见的可以做读写分离的工具有mycat、ShardingSphere等。本文使用ShardingSphere-proxy实现了PostgreSQL的读写分离场景，如果对于PostgreSQL数据库除读写分离外还需要连接池等需求，还可以了解一下PostgreSQL的pgpool-II。...
利用ShardingSphere-proxy实现PostgreSQL数据分片
duqk1982的博客
10-16 439
ShardingSphere,分库分表，数据分片，分布式
利用ShardingSphere-proxy实现PostgreSQL读写分离
duqk1982的博客
10-14 547
ShardingSphere读写分离，ShardingSphere-proxy
shardingsphere-proxy 实现postgresql的单库分表
keyboard专栏
06-30 736
2、DBeaver出现SQL 错误 [22023]: ERROR: No value specified for parameter 1. 解决方法：更换Navicat for postgresql。1、postgresql 客户端DBeaver 出现进行 SSL 连线时发生错误。3、检查shardingsphere-proxy是否启动成功。2、启动shardingsphere-proxy。3、进入docker容器检查是否成功。3、查看容器是不是运行成功。1、获取镜像中的配置。
对比 Vitess，ShardingSphere 有哪些不同？
SphereEX的博客
04-29 694
ShardingSphere 是什么？ ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar（规划中）这 3 款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如 Java 同构、异构语言、容器、云原生等各种多样化的应用场景。ShardingShpere 在刚刚过去的双十一之前通过了 Apache 基金会的投票，正式进入孵化器，成为 Apac
SB_9瑞吉外卖项目优化_mysql主从复制_ShardingJDBC_项目读写分离_Nginx入门_nginx反向代理_Nginx负载均衡
xujunming668的博客
01-11 2398
MySQL主从复制 读写分离案例 项目实现读写分离 Nginx-概述 Nginx-命令 Nginx-应用 资料下载 链接：https://pan.baidu.com/s/1iSlZM7Rt33ncWgxgEQLpwg?pwd=d1t1 提取码：d1t1 前言 1). 存在的问题 在前面基础功能实现的过程中，我们后台管理系统及移动端的用户，在进行数据访问时，都是直接操作数据库MySQL的。结构如下图： 而在当前，MySQL服务器只有一台，那么就可能会存在如下问题： 1). 读和写所有压力都由一台.
MySQL主从配置和Nginx简单运用
weixin_51980047的博客
07-22 1935
MySQL主从复制,读写分离案例,项目实现读写分离,Nginx-概述,Nginx-命令,Nginx-应用
PostgresChina2018潘娟ApacheShardingSphere云架构演化.pdf
08-29
Postgres中国技术大会2018（大象汇，第8届）15日主会场PPT 主要章节：
postgresq数据库使用shardingsphere 避坑-分表归并和空指针异常
最新发布
小菜bill的博客
07-02 367
postgresq数据库使用shardingsphere 避坑-分表归并和空指针异常
《童虎学习笔记》15分钟ShardingSphere搭建PostgreSQL分库分表
tonghu_note的博客
04-04 4615
1
SpringBoot使用Sharding-JDBC对PostgreSQL数据库分库分表
fly_programmer的博客
10-31 4808
SpringBoot使用Sharding-JDBC对PostgreSQL数据库分库分表关于Sharding-JDBC集成sharding-jdbc关于sharding-jdbc柔性事务可能存在问题 关于Sharding-JDBC 对于Sharding-JDBC的介绍这里就过多阐述，Sharding-JDBC是当当网自研的关系型数据库的水平扩展框架，现已捐献给Apache。具体了解可以看官方文档。 ...
shardingsphere-proxy分库分表配置
寂寞的博客
10-23 1368
shardingsphere-proxy shardingsphere-proxy是一个代理，兼容mysql和postgresql协议，可以接入多种语言。 1.下载 下载ss-proxy安装包：https://shardingsphere.apache.org/document/current/en/downloads/ 下载mysql-jdbc-driver-lib：https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysq
ShardingSphere5.x 分库分表
Lin_XXiang的博客
02-23 1211
shardingSphere-jdbc与shardingSphere-proxy的使用
pg shardingJDBC 单库水平分表
a984171281的博客
08-24 1147
数据源：Druid 数据库：PGSQL 配置如下： # sharding-jdbc 水平分表策略 # 配置数据源，给数据源起别名 spring.shardingsphere.datasource.names=m1 # 一个实体类对应两张表，覆盖 spring.main.allow-bean-definition-overriding=true # 配置数据源的具体内容，包含连接池，驱动，地址，用户名，密码 spring.shardingsphere.datasource.m1.type=com.alib
Postgre+Sharding-JDBC分库分表案例
weixin_37747431的博客
10-21 911
案例属于亲身踩坑后，去除业务逻辑，简化的一个demo，下面一一贴码 # 配置数据源，给数据源起名z1或z2 spring.shardingsphere.datasource.names=z1,z2 # 配置允许一个实体类映射多张表 spring.main.allow-bean-definition-overriding=true # 配置数据源具体内容 jdbc:postgresql:// # z1 spring.shardingsphere.datasource.z1.type=com.alib
Sharding-JDBC 学习
jiqiren1994的博客
02-17 358
介绍 Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架的使用。 适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意实
shardingsphere不支持的sql
04-01
ShardingSphere支持大部分的SQL语句，但仍有一些不支持的SQL语句，如： 1. 不支持分布式事务，因此不支持BEGIN、COMMIT、ROLLBACK等事务相关的操作。 2. 不支持带有FOR UPDATE或FOR SHARE的SELECT语句，因为这些语句需要对数据库加行级锁，而ShardingSphere无法实现跨库的行级锁。 3. 不支持带有DISTINCT ON的SELECT语句，因为这个语句只能在PostgreSQL中使用。 4. 不支持带有HAVING子句的DELETE语句，因为HAVING子句只能在SELECT语句中使用。 5. 不支持带有RETURNING子句的INSERT、UPDATE、DELETE语句，因为这个子句只能在PostgreSQL中使用。 6. 不支持带有SEQUENCE的INSERT语句，因为ShardingSphere无法预知SEQUENCE的值。 7. 不支持带有LOCK TABLE的语句，因为这个语句需要对数据库加表级锁，而ShardingSphere无法实现跨库的表级锁。 总之，ShardingSphere支持大部分的SQL语句，但在一些特殊情况下可能会出现不支持的情况。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值