如何写一个数据库中间件以及需要准备的知识储备

最新推荐文章于 2024-03-14 23:47:56 发布
最新推荐文章于 2024-03-14 23:47:56 发布
阅读量8.5k 收藏
点赞数 1
分类专栏： 数据库 文章标签： 数据库中间件 知识储备 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java_zhangshuai/article/details/86324262
版权

什么是数据库中间件

1.透明化
		使用方无感知，或者尽量少感知。通过现有的接入端接入已有服务
2.增量服务
		不改变数据库本身功能的前提下，提供额外的功能与服务

一个原则
		不破坏原有逻辑，并且让用户基于之前的经验可以快速上手

接入端协议的选择

		1.编程语言接口（jdbc）     2.数据库协议（数据库本身的协议，不同的数据库有不同的协议，而且有的公开，有的还不公开）
数据库         任意                    单一
异构语言       单一                    任意
连接数         高（代理）              低
性能           损耗低                  损耗略高
无中心化       是                      否
静态入口       无                      有（可独立部署）

确立目标

1.数据分片
    屏蔽数据库分片，使用无感知，应该和不分片的使用一样
2.分布式治理
    配置动态化，监控，调用链，熔断，失效转移（开着飞机换引擎），弹性伸缩
3.分布式事务
    跨片访问较大时，物理存储确实可能跨库访问
    两阶段事务，柔性事务
4.安全管控
    SQL审计（避免慢sql等），数据脱敏（脱敏和非脱敏自动转换），权限控制

数据库中间件和NewSQL的对比

			1.数据库中间件       2.NewSQL
设计理念      稳定+增量            颠覆+兼容（架构颠覆，外形兼容）
存储引擎      沿用关系型数据库     自研（大部分K-V为主）
分布式能力    增量                 原生
可信赖度      高                   待验证（需要时间检测，数据库一般十年才能说稳定）
HTAP（混用）  较难                 较易

（数据库中间件可能会有重复的问题，比如数据库分片，需要解析sql，中间件才能知道去哪片执行，
但真正的数据库层，也会解析sql，才能知道怎么执行sql，所以解析sql会有重复，不可避免）

ShardingSphere简单介绍（本文也是听开源者张亮同学的视频的总结）

核心功能
	数据分片，分布式事务，数据库治理
	弹性伸缩，管控界面
接入端
	Sharding-JDBC，Sharding-Proxy，Sharding-Sidecar
核心功能+接入端=（HTAP，云原生，零侵入）

接入端技术储备

编程语言接口
    		JDBC接口
    		各种数据库连接池
    		各种ORM框架和Spring相关知识（Spring自定义命名空间）
数据库协议
    		MySQL & PostgreSQL协议
    		IO  Netty
    		并发 & 多线程

数据分片技术储备

SQL解析（Lexer,Parser,AST）
SQL路由（去哪个片）
SQL改写（到了某个片）
SQL执行（多线程）
结果归并（排序算法）

分布式事务技术储备

两阶段事务
		ACID事务要素
		XA协议以及他的各种实现
		Percolator事务模型（时间戳+两阶段事务做成强一致，来自谷歌论文）
柔性事务
		BASE和CAP理论
		TCC和Saga
		自动补偿，反向SQL
		数据快照，版本控制

数据库治理技术储备

配置中心：注册中心相关，包括Zookeeper、Etcd等
服务治理：服务化相关知识可以复用，如服务发现，熔断，限流，负载均衡，失效转移等
追踪监控：分布式调用链追踪，OpenTracing协议等，数据库以及应用状态相关指标收集和暴露

基础技术储备

性能调优
	JVM GC调优
	内存泄露，资源泄露排查
质量保证
	单元测试，整合测试，压力测试，疲劳测试，性能测试体系的搭建

写中间件理念：随时准备面向开源

1.保持视野的敏锐
	了解技术社区现状，优先考虑复用和融入，而非颠覆
	保证能被人快速上手
2.保持设计解耦
	技术模块与业务模块和环境相关，在设计时即保证解耦
3.随时保持代码精炼
	面向意图编程，代码随时准备开放面向社区，并具备高可读性
zhangSir134
关注
专栏目录
MyCat数据库中间件开发实战(主从复制，读写分离，分库分表，)
04-28
MyCat 是目前流行的基于 java 语言编写的数据库中间件，是一个实现了 MySQL 协议 的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。MyCat 是基于阿里开源的 Cobar 产品而研发，Cobar 的稳定性、可靠性、优秀的架构和性能以及众多成熟的使用案例使得 MyCat 变得非常的强大！
自己实现一个简单的数据库
abc
07-20 6919
How do you build a database? (self.Database) How do you build a database? (self.Database) Its a great question, and deserves a long answer. Most database servers are built in C, and store data using B-tree type constructs. In the old days there was a produ
SQlite源码分析-体系结构
diaoju3333的博客
04-10 863
体系结构 在内部，SQLite由以下几个组件组成：内核、SQL编译器、后端以及附件。SQLite通过利用虚拟机和虚拟数据库引擎（VDBE），使调试、修改和扩展SQLite的内核变得更加方便。所有SQL语句都被编译成易读的、可以在SQLite虚拟机中执行的程序集。SQLite支持大小高达2 TB的数据库，每个数据库完全存储在单个磁盘文件中。这些磁盘文件可以在不同字节顺序的计算机...
数据库设计
最新发布
qq_44600808的博客
03-14 1131
数据库管理人员（DBA）通过数据库管理系统（DBMS）可以对数据库（DB）中的数据进行操作，使用到SQL语言。SQL（Structured Query Language）是结构化查询语言的简称，它是一种数据库查询和程序设计语言，同时也是目前使用最广泛的关系型数据库操作语言。在数据库管理系统中，。SQL是一种非过程化语言，只需提出“做什么”，而不需要指明“怎么做”。
基于中间件的开发---中间件技术
hu19930613的博客
11-26 1万+
    20 世纪 90 年代初，C/S 计算模式成为主流，将数据统一存储在数据服务器上，而有关的业务逻辑都在客户端实现。但是，这种两层结构的模式由于服务器依赖于特定的供应商，数据存取受到限制，再加上难以扩展到广域网或互联网等原因，极大地阻碍着计算机软件系统的发展。有人提出将客户端的业务逻辑独立出来，形成第三层。在这种三层结构中，客户端仅仅是处理图形用户界面，在设计和实现时需要开发的，仅是在应用服...
基础储备-配置以及指令1
08-08
本文将详细解析与“基础储备-配置以及指令1”相关的知识点，包括Django项目的创建、管理命令、URL配置以及数据库设置。 首先，让我们从创建Django项目开始。使用`django-admin`工具可以轻松启动一个新的Django项目...
Oracle数据库性能优化概述.pdf
10-14
总的来说，Oracle数据库性能优化是一个涉及多层面的复杂过程，需要深入理解数据库工作原理，持续监控系统状态，灵活运用各种工具，并根据实际情况调整优化策略。只有这样，才能确保数据库在面对不断增长的业务需求时...
西安通信业行业华为云数据库python开发工程师岗位介绍JD模板.pdf
06-17
5. **中间件知识**：了解Dubbo、Kafka、Zookeeper等中间件，有助于提升系统的稳定性和扩展性。 **工作地点** 该岗位的工作地点位于西安或杭州，两个城市都拥有丰富的科技资源和人才储备，为员工提供了良好的工作和...
中级系统集成项目工程师思维导图
05-09
中级系统集成项目工程师需要掌握一系列复杂的技术和管理知识，这些知识涵盖了项目管理、网络图法、依赖关系、风险管理以及资源优化等多个方面。首先，前导图法（单代号网络图）和箭线图法（双代号网络图）是项目进度...
Mycat_V1.6.0-168.pdf
05-30
1. 数据库中间件：Mycat作为一个数据库中间件，位于应用服务器和数据库服务器之间，负责处理应用服务器发送的SQL请求，并将SQL请求分发到后端的多个数据库。 2. 逻辑库(schema)：在Mycat中，一个逻辑库对应于一个或...
中间件概述
haoyu_zhang的博客
11-30 2952
1.中间件 1.1中间件基础 平台+通信，通过遵循协议和规范和底层操作系统硬件打交道。 特性：跨平台 举例： 1，RMI（Remote Method Invocations, 远程调用） 2，Load Balancing(负载均衡，将访问负荷分散到各个服务器中) 3，Transparent Fail-over(透明的故障切换) 4，Clustering(集群,用多个小的服务器代替大型机） 5，Back-end-Integration(后端集成，用现有的、新开发的系统如何去集成遗留的系统) 6，Tran
数据库中间件-mycat
qq_45930942的博客
08-13 2092
后端技术-数据库中间件-mycat
如何编写一个分布式数据库
热门推荐
stark_summer的专栏
10-02 2万+
讲师: 刘奇(goroutine) 个人简介： PingCAP创始人兼CEO。分布式系统专家，擅长分布式数据库，分布式缓存。目前从事NewSQL方向的创业，通过开源方式重建google内部的F1和spanner。目前项目已经开源，https://github.com/pingcap/tidb大家好, 我是开源项目 分布式 NewSQL 数据库 TiDB 和 分布式缓存 Codis 的 创始人 刘
数据库同步——中间数据库的实现方式
yangxinyujy的博客
07-19 1万+
一、实现思路与应用场景 1. 中间数据库 i. 新建一个数据库以及数据库管理员账号，并赋予且仅赋予该账号管理该数据库的所有权限。 ii. 设置定时任务定期向该数据库推送表数据。 2. 应用场景 i. 向第三方提供数据的一种方式，安全性高，不适宜应用于对数据及时性要求高的项目。 二、 应用原理  当中间数据库中的表名与当前数据库中的表名相同时，数据表内的数据会被覆盖； 如果中间数据库...
数据库拆分的理解和案例（详细版）
DAMO小天天
04-23 7529
数据库拆分的理解和案例1 数据库拆分过程及挑战1.1 垂直拆分1.2 读写分离1.3 分库分表挑战1：基本的数据库增删改功能挑战2：分布式id挑战3：分布式事务挑战4：动态扩容2 主流数据库中间件设计方案2.1 设计方案2.1.1 proxy模式2.1.2 smart-client模式3 读写分离核心要点3.1 基本路由功能3.1.1 sql类型判断3.1.2 强制走主库3.2 从库路由策略4 分...
中间件技术
程序员杂谈
08-08 2177
中间件（middleware）是基础软件的一大类，属于可复用软件的范畴。顾名思义，中间件处在操作系统、网络和数据库之上，应用软件的下层（如图 15-1 所示），也有人认为它应该属于操作系统中的一部分。 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。 首先，中间件屏蔽了底层操作系统的复杂...
自己如何写mysql数据库_如何写一个属于自己的数据库封装(1)
weixin_39982452的博客
01-30 937
写在前头依然在前进的菜鸟一只，错误什么的请轻喷指出对于数据库连接由于较浅的工作经验所以无法完全覆盖，较复杂的query可能会有意想不到的bug所以本系列只提供思路，成熟稳定的数据库封装有请自行搜索编写该系列的初衷就是为了抛砖引玉， 在每一节的后端，我都会提出一些个人疑问(或无)，希望能引出大神为我解答迷惑使用的php版本为7.0+，该系列并不向下兼容，还在5.6版本的童鞋们快过来玩呀数据库封装参考...
简单数据库编写实例
lighten-1996的博客
05-13 6641
1.安装MySQL 2.创建数据库 3.创建数据表 4.插入数据 5.修改数据 1.安装MySQL（基于windows） 安装包下载地址：http://dev.mysql.com/downloads/mysql/ 下载完后，我们将 zip 包解压到相应的目录 配置 MySQL 的配置文件 打开刚刚解压的文件夹 ，在该文件夹下创建 my.ini 配置文件，编辑 my.ini 配置以下基本信息： 进...
写一个tcp数据库中间件
06-08
编写一个 TCP 数据库中间件需要考虑以下几个方面： 1. 数据库连接管理：中间件需要负责管理数据库连接，包括连接池的维护、连接的获取和释放等。 2. 数据库语句解析：中间件需要能够解析客户端发送的 SQL 语句，并将其翻译成数据库可执行的语句。 3. 数据库事务处理：中间件需要负责管理事务，包括事务的开启、提交和回滚等。 4. 数据库性能优化：中间件需要对数据库进行性能优化，例如缓存查询结果、预编译 SQL 语句等。 下面是一个简单的 TCP 数据库中间件的实现示例： ```python import socket import threading import queue class DatabaseMiddleware: def __init__(self, host, port, db): self.host = host self.port = port self.db = db self.connections = queue.Queue(maxsize=10) self.shutdown = False def start(self): # 启动中间件，监听客户端连接 sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.bind((self.host, self.port)) sock.listen(5) while not self.shutdown: conn, addr = sock.accept() conn_thread = threading.Thread(target=self.handle_connection, args=(conn,)) conn_thread.start() def stop(self): # 停止中间件 self.shutdown = True def handle_connection(self, conn): # 处理客户端连接 try: while not self.shutdown: data = conn.recv(1024) if not data: break statement = self.parse_statement(data) result = self.execute_statement(statement) conn.sendall(result) finally: conn.close() def parse_statement(self, data): # 解析客户端发送的 SQL 语句 return data.decode('utf-8') def execute_statement(self, statement): # 执行 SQL 语句，并返回结果 conn = self.get_connection() try: cursor = conn.cursor() cursor.execute(statement) result = cursor.fetchall() finally: self.release_connection(conn) return str(result).encode('utf-8') def get_connection(self): # 获取数据库连接 try: conn = self.connections.get(block=False) except queue.Empty: conn = self.db.connect() return conn def release_connection(self, conn): # 释放数据库连接 if self.connections.full(): conn.close() else: self.connections.put(conn) ``` 在上面的代码中，我们使用了 Python 的 `socket` 模块来监听客户端连接，并使用了 `threading` 模块来处理连接。 在 `DatabaseMiddleware` 类的 `start` 方法中，我们使用了一个循环来不断接收客户端连接，当有客户端连接时，我们会启动一个新的线程来处理这个连接。 在 `handle_connection` 方法中，我们使用了一个循环来不断接收客户端发送的数据，当客户端发送空数据时，表示连接已经断开，我们会关闭连接。 在 `parse_statement` 方法中，我们将客户端发送的二进制数据解码成字符串。 在 `execute_statement` 方法中，我们使用了 `get_connection` 方法来获取数据库连接，使用 `cursor` 对象执行 SQL 语句，并使用 `fetchall` 方法获取查询结果。查询结果会被转换成字符串类型，并使用 `encode` 方法编码成二进制数据后返回给客户端。 在 `get_connection` 方法中，我们首先尝试从连接池中获取数据库连接，如果连接池中没有可用的连接，则创建一个新的连接。 在 `release_connection` 方法中，我们将连接放回连接池中，如果连接池已满，则直接关闭连接。 这只是一个简单的示例，实际中间件的实现可能更加复杂，需要考虑更多的因素，例如并发处理、安全性等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值