ShardingSphere官微

转载 ShardingSphere-Proxy 用户认证功能解读

前言：相信多数 ShardingSphere 的用户都知道，ShardingSphere-Proxy 是透明化的数据库代理，它理论上支持任何使用 MySQL、PostgreSQL、openGauss 协议的客户端进行交互操作。同传统数据库一样，Proxy 也提供了用户认证的功能，且能够适配多种数据库协议的不同认证方式。但是有一个问题很少被关注到，甚至于在 Github 社区中几乎没有相应的问题 i...

转载 ShardingSphere 全新示例模块实现原理以及使用说明

问题分析‍‍‍‍‍‍ShardingSphere 经过几年的迅速发展，核心的功能模块已经有六个，并且支持了不同的注册中心如 ZooKeeper， Nacos、分布式事务以及不同的开发框架，功能是十分强大且完善的。那么如何将这么强大而且完善的功能让用户轻松的上手使用就是一个比较大的难题。由此，我们开发了一个 example 模块，通过对于不同功能特性、注册中心、服务框架的组合以及业务逻辑的抽象，形成...

转载 韩国 Yogiyo 的成功故事：用 Apache ShardingSphere 构建可扩展的订购服务

导读：Yogiyo 是韩国领先的移动和在线送餐平台，旨在为顾客提供更强大便捷的点餐服务。它是 Delivery Hero 的韩国分公司，直到 2021 年底被韩国十大上市公司之一的 GS Retail 以 6.84 亿美元收购。本文来自 Yogiyo 研发中心从事 Orderyo（一种订购服务）的后端开发人员Byungchul Kim，其团队最近为 Yogiyo 的订单服务使用了 Apache ...

转载 进阶必修课！深度解析 ShardingSphere-On-Cloud 新版本

核心研发在线带你“划重点”本周四，ShardingSphere-On-Cloud 正式迎来了 0.2.0 版本发布。本次 0.2.0 版本主要为 ShardingSphere Operator 引入了全新 CRD ComputeNode，用于完整定义 ShardingSphere 架构中的计算节点。为了使更多开发者迅速了解并高效使用新版 ShardingSphere-On-Cloud，社区特地安排...

转载 ShardingSphere-On-Cloud 0.2.0 发布！新的 CRD ComputeNode

Apache ShardingSphere-On-Cloud 近日迎来了 0.2.0 版本发布。本次 0.2.0 版本主要为 ShardingSphere Operator 引入了全新 CRD ComputeNode，用于完整定义 ShardingSphere 架构中的计算节点。ComputeNode介绍‍‍‍‍在 Apache ShardingSphere 的经典架构里，主要的组件分为计算节点、...

转载 Apache ShardingSphere-JDBC 性能监控实战

‍在业务系统越来越复杂的今天，用户对系统的运行性能越来越重视，需要对系统运行中的相关指标进行监控，实时获取监控指标信息，对相关问题进行监控预警，并结合业务分析定位出现的异常。我们知道 APM（应用性能监控）是通过对系统可观察性数据进行采集、存储和分析，进行系统的性能监控与诊断，主要功能包括性能指标监控、调用链分析，应用拓扑图等。一般通过 Metrics（指标监控）、Tracing（链路跟踪）、和 ...

转载 ShardingSphere 5.3.2 发布 | Driver 接入配置中心，数据迁移/加密功能增强

Apache ShardingSphere 本周迎来了 5.3.2 版本的发布，该版本历时两个月，共合并了来自全球的团队和个人累计 797个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次更新包含了不少能够提升用户体验、解决用户痛点的内容，本文与大家一起快速预览：ShardingSphere Driver 支持 Apollo数据迁移支持迁移任意索引结构的表（包括无索引的表...

转载 超强「升级攻略」｜如何在线玩转新版 ShardingSphere ？

一、如何玩转新版 ShardingSphere？在 ShardingSphere 5.3.0 Release 中，移除了所有 Spring 相关的依赖，同时也移除了 ShardingSphere-JDBC 中的 spring-boot-starter 和 spring-namespace 配置入口。至此后，在 ShardingSphere 社区官方交流群内，我们会经常看到有社区同学发出相似的疑问：...

转载 精彩瞬间｜带你一秒“穿越”至 ShardingSphere 2023 北京站活动现场！

转载 基于 GraalVM 的 ShardingSphere Proxy Native 探索

作者简介：ShardingSphere Contributor，何其恒，自2021 年开始为项目贡献小的改进。专注于添加现有模块对 GraalVM Native-Image 的第一方支持与 ShardingSphere 的分片算法类改进。目前，他正在为现有模块的依赖树处理所需的 GraalVM 可达性元数据，并完成项目对 GraalVM Native Build Tools 的集成。前言笔者以 M...

转载 聚焦 「3·18」| 倒计时 2 天，ShardingSphere 社区今年第一场线下 Meetup 等你来！

转载 Apache ShardingSphere 元数据能力增强解读与实战

元数据介绍Apache ShardingSphere 的元数据主要包括规则、数据源、表结构等信息。规则信息包含分片、加密、读写分离、事务、高可用等。数据源信息存储的是需要通过 ShardingSphere 来进行管理的底层数据库资源。表结构信息为底层数据源的表结构，包括表的 column 信息、索引信息等。Apache ShardingSphere 通过这些元数据信息配合治理中心的能力，例如 zo...

转载 线下活动预告｜相约 Apache ShardingSphere 2023 北京站！共论数据库的“现在与未来”...

数据库领域目前的发展状况呈现了哪些特点？业内有哪些新动向正在萌生？云原生技术深植全行业，现代企业应该如何高效完成云原生实践？在全球倡导数据安全的时代背景下，我们怎样以较小的业务代价实现对敏感数据的治理？Apache ShardingSphere 5.3.0 发布后，如何准确解读新版本的「重大内核优化」...活动预告????带着对这些热点问题的好奇和思索，我们即将迎来一场集硬核与趣味于一体的线下 Mee...

转载 元数据备份恢复和 DistSQL 转换功能解读

????本文作者‍杨肖，同程旅行研发工程师ShardingSphere Committer‍???? 对社区的寄语很高兴能参与到 ShardingSphere 社区建设中，希望在社区中努力提高自己，为 ShardingSphere 社区的发展做更多的贡献！背景‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍DistSQL（Distributed SQL）是 Apache ShardingSphere 特有的操作语言，它让用户...

转载 国际财务系统基于 ShardingSphere 的数据分片和一主多从实践

背景‍‍‍‍传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。每到月初国际财务系统压力巨大，因为月初有大量补全任务，重算、计算任务、账单生成任务、推送集成等都要赶在月初1号完成，显然我们需要一个支持高性能、高并发...

转载 「攻略手册」：ShardingSphere 与 Java 应用性能优化

笔者曾经写过一篇文章，介绍 ShardingSphere 在具体代码细节上的优化案例，但文章中没有介绍如何发现「代码优化点」。本文将结合之前笔者在 ShardingSphere 相关性能问题排查、优化经验，简要地介绍 ShardingSphere 性能问题排查、优化应如何入手。由于 ShardingSphere 本身也是 Java 应用，本文的经验同样也适用于与 ShardingSphere 无关...

转载 直播预告｜直击分布式架构改造痛点！ShardingSphere 分布式事务功能 & 实操探析...

随着业务的快速发展、业务复杂度愈高，几乎每个公司的系统都会从单体走向分布式，特别是转向微服务架构。随之而来就必然遇到分布式事务这个难题。与此同时，开发者们在现实的「技术决策」阶段也面临了两大「难点」...「 切换难 」从技术层面考量，由于应用的业务场景不同、强一致的事务与柔性事务的 API 及功能并不完全相同，所以，在它们之间难以做到自由、透明切换。「 选型难 」以现实的改造成本来评估，基于 XA...

转载 社区出品｜LGTM ：数据圈内的周度「热点精选」

????「LGTM」的意思是指：在我看来不错 (Looks Good to Me)，这是代码审阅者在批准 CL 时说的常用语。ShardingSphere 社区开辟一个全新的内容专栏——「LGTM 专栏」致力为您带来业界最佳新闻，让您在 5 分钟内了解科技！另外，文末附有招聘需求，欢迎广大开发者看过来～积极投递 ????洞察榜全球「 技术风向标」Google 为其云平台提供新的许可和定价选项摘要：谷歌最近宣...

转载 ShardingSphere 社区出品｜LGTM ：数据圈内的周度「热点精选」

「LGTM」的意思是指：在我看来不错 (Looks Good to Me)，这是代码审阅者在批准 CL 时说的常用语。本周，ShardingSphere 社区正式开辟一个全新的内容专栏——「LGTM 专栏」。致力为您带来业界最佳新闻，让您在 5 分钟内了解科技，欢迎大家持续关注与锁定！洞察榜全球「 技术风向标」计算机学会发布2023年网络安全十大发展趋势摘要：近日，中国计算机学会(CCF)计算...

转载 ShardingSphere Operator 实战指南

ShardingSphere on Cloud 子项目Apache ShardingSphere on Cloud 是 Apache ShardingSphere 面向云上解决方案的子项目，覆盖了在 AWS、GCP、阿里云、华为云等云环境下面向虚机的自动化部署脚本，如 CloudFormation Stack 模板、Terraform 一键部署脚本等，以及在 Kubernetes 环境下的 Hel...

转载 错误码的标准化，带来的价值

日志：作为系统向用户及系统内其它子模块所输出当前运行状况的一种方式，其中往往蕴含着大量有效的潜在信息。如果用户能够有效阅读日志，将能够快速掌握系统当前的运行状况以及问题所在。其中，报错信息作为一种特殊的日志，它所输出的内容代表了系统的异常情况，是一种『求关注、求修复』的信号。如果报错信息简洁明了，用户则可以通过报错信息来快速定位问题并解决问题，快速恢复系统运行。不过，许多错误日志的内容都十分冗长，...

转载 ShardingSphere-Proxy 数据库协议交互解读

ShardingSphere-Proxy数据库协议交互解读数据库协议对于大部分开发者来说算是比较冷门的知识，一般的用户、开发者都是通过现成的数据库客户端、驱动使用数据库，不会直接操作数据库协议。不过，对数据库协议的特点与流程有一些基本的了解，有助于开发者在排查数据库功能、性能问题的过程中提供一些发现问题的思路。本文将简要介绍常用的 MySQL、PostgreSQL 等开源数据库协议的特点，并大致解...

转载 ShardingSphere 5.3.1 新特性之动态数据脱敏

背景随着《网络安全法》的颁布施行，对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺少对个人隐私数据的保护措施。数据脱敏，可以实现在不需要对生产数据库中的数据进行任何改变的情况下，依据用户的角色、职责和其他定义规则，对生产数据库返回的数据进行专门的屏蔽、加密、隐藏和审计，确保业务用户、外包用户、运维人员、兼职雇员、合作伙伴、数据分析师、研发、测试和顾问，都能够恰如其分地访问生产环境的敏感...

转载 ShardingSphere 5.3 系列升级解读：Spring 配置升级指南

背景在 5.3.0 版本以前，ShardingSphere-JDBC 同时支持 Java API、YAML、Spring Boot Starter 和 Spring Namespace 等配置方式。其中，为兼容 Spring 的配置方式，给社区带来了以下难题：当新增或更新 API 时，需要调整多项配置文件，工作量大。社区需要维护多重配置文档 &示例。Spring Bean 生命周期管理易...

转载 如何使用 Terraform 在 AWS 上创建 ShardingSphere Proxy 高可用集群？

背景介绍 TerraformTerraform[1] 是一个 Hashicorp[2] 开源的基础设施自动化编排工具，使用 IaC 的理念来管理基础设施的变更，并得到了 AWS，GCP，AZURE 等公有云厂商的支持以及社区提供的各种各样的 provider，已成为「基础设施即代码」领域最流行的实践方式之一，Terraform 有以下优点：????支持多云部署Terraform 适用于多云方案，将类似...

转载 ShardingSphere 科技年货正在派送中！

细数这一年 ShardingSphere 在公众号发布的文章，我们精选出过去一年内值得大家重温的 ShardingSphere 社区大事件。

转载 基于 ShardingSphere 的分布式数据库负载均衡架构搭建实战

本文主要分为 3 部分，将依次介绍： 基于 ShardingSphere 的分布式数据库「负载均衡架构搭建」要点结合实际的「用户问题案例」，介绍引入「负载均衡」的影响介绍并展示 ShardingSphere 分布式数据库在云上的「一站式解决方案」。

转载 ShardingSphere-On-Cloud 0.1.2 发布！优化 Operator 部署、Terraform 支持华为云

Apache ShardingSphere-On-Cloud 本周迎来了 0.1.2 版本发布！

转载 ShardingSphere 5.3.1 发布 | 支持动态脱敏模式、CDC 新功能上线

Apache ShardingSphere 于本周迎来了 5.3.1 版本的发布！该版本历时一个月，共合并了来自全球的团队和个人累计 448 个 PR。新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次 5.3.1 版本带来了如下亮点：新增脱敏功能「动态脱敏」模式及内置「脱敏算法」CDC 新功能上线新亮点介绍新增脱敏功能动态脱敏模式及内置脱敏算法随着《网络安全法》的颁布施行，对个人...

转载 ShardingSphere 5.3.0 升级解读：DistSQL 对象体系首次揭秘！

前言DistSQL（Distributed SQL）是 Apache ShardingSphere 特有的操作语言，它自从 5.0.0-Beta 版本面世以来，始终保持着高速的迭代，并逐步为用户提供了规则管理、集群管理、元数据管理等诸多特性，越发迈向『成熟』。与此同时，DistSQL 又仍然十分『年轻』。ShardingSphere 社区时常会收到关于 DistSQL 的想法和建议，它们为 Dis...

转载 Everly Precia Sureshkumar：ShardingSphere 社区帮助我成为了一名更好的开发者

随着 Apache ShardingSphere 社区影响力的增长以及产品本身应用领域的拓宽，开始有越来越多的来自全球不同地区的开发者参与到社区建设中来。

转载 ShardingSphere 加密列模糊查询原理与实战

文章示例演示了模糊查询列在不同 SQL 语法中是如何改写 SQL 支持模糊查询的。本文详细介绍了模糊查询的基本实现原理以及具体的使用示例。

转载 ShardingSphere + Database Mesh | 爱奇艺的云上数据治理实践

今年 5 月，SphereEx 正式对外提出了 Database Mesh 2.0 理念。Database Mesh，其不是静态的定义，而是一个在不断进化的动态概念。 Database Mesh 始终关注对数据库流量的治理，基于数据库协议感知能力，提供数据分片、负载均衡、可观测性、审计等能力，这些能力已经解决了数据库治理中属于流量治理的部分问题。此外 Database Mesh 也关注数据库可靠性...

转载 ShardingSphere-On-Cloud 0.1.1 发布｜支持 CloudFormation、Terraform 部署

正式发版Apache ShardingSphere-On-Cloud 0.1.1 于今日正式发布！其亮点功能如下：支持使用 CloudFormation 创建多可用区高可用 ShardingSphere Proxy 集群支持使用 Terraform 在 AWS 上创建多可用区高可用 ShardingSphere Proxy 集群Helm Charts 增加了nameOverride参数，允许覆盖 ...

转载 ShardingSphere 5.3.0 发布 | 支持加密列模糊查询、数据源级别异构、数据校验断点续传...

Apache ShardingSphere 本周迎来了 5.3.0 版本的发布，该版本历时一个半月，共合并了来自全球的团队和个人累计 687 个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次 5.3.0 版本带来了如下亮点功能：加密列支持模糊查询‍支持数据源级别的异构数据库‍数据一致性校验支持断点续传‍跨多个分片执行 DML 语句，支持隐式开启分布式事务‍同时，5.3....

转载 ShardingSphere Meetup 上海站 | SphereEx 联合喜马拉雅共话云原生数据技术应用创新实践！...

随着数字化在全球范围蔓延，颠覆与创新接踵而至，数字化浪潮已来，正在革新我们的生产与生活。一方面，企业在数字化进程中遇到了层出不穷的数据治理问题，另外一方面，随着云原生技术的蓬勃发展，各类技术先锋及行业前沿都在向其积极靠拢，一系列发问也正向企业“ 席卷而来”：大量数据的产生，如何储存？海量数据下的高并发需求如何解决？多个系统、多个数据库如何实现统一的数据访问？单机数据库如何在不更换原有数据库之...

转载 ShardingSphere Meetup 上海站 | SphereEx 联合喜马拉雅共话云原生数据技术应用创新实践！...

随着数字化在全球范围蔓延，颠覆与创新接踵而至，数字化浪潮已来，正在革新我们的生产与生活。一方面，企业在数字化进程中遇到了层出不穷的数据治理问题，另外一方面，随着云原生技术的蓬勃发展，各类技术先锋及行业前沿都在向其积极靠拢，一系列发问也正向企业“ 席卷而来”：大量数据的产生，如何储存？海量数据下的高并发需求如何解决？多个系统、多个数据库如何实现统一的数据访问？单机数据库如何在不更换原有数据库之...

转载 SkyWalking 基于 ShardingSphere-Proxy 的 MySQL-Sharding 分库分表的存储特性介绍

Apache SkyWalking 作为一个分布式系统的应用性能监控工具，它观察服务网格中的指标、日志、痕迹和事件。其中 SkyWalking OAP 高性能的数据流处理架构能够实时处理庞大的数据流量，但是这些海量数据的存储更新和后续查询对后端存储系统带来了挑战。SkyWalking 默认已经提供了多种存储支持包括 H2、OpenSearch、ElasticSearch、MySQL、TiDB、Po...

转载 直播预约｜2022 Apache IoTDB 物联网生态大会即将举办，亮点抢先看！

议题&嘉宾公布大会亮点抢先看！2022 Apache IoTDB 物联网生态大会将于 12 月 3 日 9:30 至 16:30 在北京举行。大会以开放、互联、共生为主题，将发布 Apache 基金会唯一时序数据库 top-level 项目 Apache IoTDB 的分布式 1.0 版本，并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例，深入探讨 Apache I...

转载 Kubernetes 环境下的数据库新命题

近期，ShardingSphere PMC 潘娟老师撰写了一篇关于在 Kubernetes 环境下探索数据库发展新方向的文章，发表于 InfoQ 官网首页，欢迎大家点击阅读原文链接，查看相关内容。伴随着互联网应用场景逐渐深入到生活的各个角落，为了确保前端用户的使用体验，对互联网产品的后端架构性能提出了更高的需求。如今，开发以及运维人员正在将工作重心和优化重点放在了后端基础设施的可用性、一致性、扩展...