MySQL到mongodb中间件_数据库中间件 MyCAT 源码分析 —— SQL ON MongoDB

最新推荐文章于 2023-12-20 20:00:35 发布
最新推荐文章于 2023-12-20 20:00:35 发布
阅读量447 收藏
点赞数
文章标签： MySQL到mongodb中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36076139/article/details/113947159
版权

wechat_mp.jpeg

🙂🙂🙂关注微信公众号有福利：

RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表

RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址

您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。

新的源码解析文章实时收到通知。每周更新一篇左右。

1. 概述

可能你在看到这个标题会小小的吃惊，MyCAT 能使用 MongoDB 做数据节点。是的，没错，确实可以。

吼吼吼，让我们开启这段神奇的“旅途”。

本文主要分成四部分：

总体流程，让你有个整体的认识

查询操作

插入操作

彩蛋，😈彩蛋，🙂彩蛋

建议你看过这两篇文章(非必须)：

2. 主流程

01.png

MyCAT Server 接收 MySQL Client 基于 MySQL协议 的请求，翻译 SQL 成 MongoDB操作 发送给 MongoDB Server。

MyCAT Server 接收 MongoDB Server 返回的 MongoDB数据，翻译成 MySQL数据结果 返回给 MySQL Client。

这样一看，MyCAT 连接 MongoDB 是不是少神奇一点列。

02.png

Java数据库连接，(Java Database Connectivity，简称JDBC)是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。JDBC也是Sun Microsystems的商标。JDBC是面向关系型数据库的。

MyCAT 使用 JDBC 规范，抽象了对 MongoDB 的访问。通过这样的方式，MyCAT 也抽象了 SequoiaDB 的访问。可能这样说法有些抽象，看个类图压压惊。

03.png

是不是熟悉的味道。不得不说 JDBC 规范的精妙。

3. 查询操作

SELECT id, name FROM user WHERE name > '' ORDER BY _id DESC;

04.png

看顺序图已经很方便的理解整体逻辑，我就不多废话啦。我们来看几个核心的代码逻辑。

1、查询 MongoDB

// MongoSQLParser.java

public MongoData query() throws MongoSQLException {

if (!(statement instanceof SQLSelectStatement)) {

//return null;

throw new IllegalArgumentException("not a query sql statement");

}

MongoData mongo = new MongoData();

DBCursor c = null;

SQLSelectStatement selectStmt = (SQLSelectStatement) statement;

SQLSelectQuery sqlSelectQuery = selectStmt.getSelect().getQuery();

int icount = 0;

if (sqlSelectQuery instanceof MySqlSelectQueryBlock) {

MySqlSelectQueryBlock mysqlSelectQuery = (MySqlSelectQueryBlock) selectStmt.getSelect().getQuery();

BasicDBObject fields = new BasicDBObject();

// 显示(返回)的字段

for (SQLSelectItem item : mysqlSelectQuery.getSelectList()) {

//System.out.println(item.toString());

if (!(item.getExpr() instanceof SQLAllColumnExpr)) {

if (item.getExpr() instanceof SQLAggregateExpr) {

SQLAggregateExpr expr = (SQLAggregateExpr) item.getExpr();

if (expr.getMethodName().equals("COUNT")) { // TODO 待读：count(*)

icount = 1;

mongo.setField(getExprFieldName(expr), Types.BIGINT);

}

fields.put(getExprFieldName(expr), 1);

} else {

fields.put(getFieldName(item), 1);

}

}

}

// 表名

SQLTableSource table = mysqlSelectQuery.getFrom();

DBCollection coll = this._db.getCollection(table.toString());

mongo.setTable(table.toString());

// WHERE

SQLExpr expr = mysqlSelectQuery.getWhere();

DBObject query = parserWhere(expr);

// GROUP BY

SQLSelectGroupByClause groupby = mysqlSelectQuery.getGroupBy();

BasicDBObject gbkey = new BasicDBObject();

if (groupby != null) {

for (SQLExpr gbexpr : groupby.getItems()) {

if (gbexpr instanceof SQLIdentifierExpr) {

String name = ((SQLIdentifierExpr) gbexpr).getName();

gbkey.put(name, Integer.valueOf(1));

}

}

icount = 2;

}

// SKIP / LIMIT

int limitoff = 0;

int limitnum = 0;

if (mysqlSelectQuery.getLimit() != null) {

limitoff = getSQLExprToInt(mysqlSelectQuery.getLimit().getOffset());

limitnum = getSQLExprToInt(mysqlSelectQuery.getLimit().getRowCount());

}

if (icount == 1) { // COUNT(*)

mongo.setCount(coll.count(query));

} else if (icount == 2) { // MapReduce

BasicDBObject initial = new BasicDBObject();

initial.put("num", 0);

String reduce = "function (obj, prev) { " + " prev.num++}";

mongo.setGrouyBy(coll.group(gbkey, query, initial, reduce));

} else {

if ((limitoff > 0) || (limitnum > 0)) {

c = coll.find(query, fields).skip(limitoff).limit(limitnum);

} else {

c = coll.find(query, fields);

}

// order by

SQLOrderBy orderby = mysqlSelectQuery.getOrderBy();

if (orderby != null) {

BasicDBObject order = new BasicDBObject();

for (int i = 0; i < orderby.getItems().size(); i++) {

SQLSelectOrderByItem orderitem = orderby.getItems().get(i);

order.put(orderitem.getExpr().toString(), getSQLExprToAsc(orderitem.getType()));

}

c.sort(order);

// System.out.println(order);

}

}

mongo.setCursor(c);

}

return mongo;

}

2、查询条件

// MongoSQLParser.java

private void parserWhere(SQLExpr aexpr, BasicDBObject o) {

if (aexpr instanceof SQLBinaryOpExpr) {

SQLBinaryOpExpr expr = (SQLBinaryOpExpr) aexpr;

SQLExpr exprL = expr.getLeft();

if (!(exprL instanceof SQLBinaryOpExpr)) {

if (expr.getOperator().getName().equals("=")) {

o.put(exprL.toString(), getExpValue(expr.getRight()));

} else {

String op = "";

if (expr.getOperator().getName().equals("

op = "$lt";

} else if (expr.getOperator().getName().equals("<=")) {

op = "$lte";

} else if (expr.getOperator().getName().equals(">")) {

op = "$gt";

} else if (expr.getOperator().getName().equals(">=")) {

op = "$gte";

} else if (expr.getOperator().getName().equals("!=")) {

op = "$ne";

} else if (expr.getOperator().getName().equals("<>")) {

op = "$ne";

}

parserDBObject(o, exprL.toString(), op, getExpValue(expr.getRight()));

}

} else {

if (expr.getOperator().getName().equals("AND")) {

parserWhere(exprL, o);

parserWhere(expr.getRight(), o);

} else if (expr.getOperator().getName().equals("OR")) {

orWhere(exprL, expr.getRight(), o);

} else {

throw new RuntimeException("Can't identify the operation of of where");

}

}

}

}

private void orWhere(SQLExpr exprL, SQLExpr exprR, BasicDBObject ob) {

BasicDBObject xo = new BasicDBObject();

BasicDBObject yo = new BasicDBObject();

parserWhere(exprL, xo);

parserWhere(exprR, yo);

ob.put("$or", new Object[]{xo, yo});

}

3、解析 MongoDB 数据

// MongoResultSet.java

public MongoResultSet(MongoData mongo, String schema) throws SQLException {

this._cursor = mongo.getCursor();

this._schema = schema;

this._table = mongo.getTable();

this.isSum = mongo.getCount() > 0;

this._sum = mongo.getCount();

this.isGroupBy = mongo.getType();

if (this.isGroupBy) {

dblist = mongo.getGrouyBys();

this.isSum = true;

}

if (this._cursor != null) {

select = _cursor.getKeysWanted().keySet().toArray(new String[0]);

// 解析 fields

if (this._cursor.hasNext()) {

_cur = _cursor.next();

if (_cur != null) {

if (select.length == 0) {

SetFields(_cur.keySet());

}

_row = 1;

}

}

// 设置 fields 类型

if (select.length == 0) {

select = new String[]{"_id"};

SetFieldType(true);

} else {

SetFieldType(false);

}

} else {

SetFields(mongo.getFields().keySet());//new String[]{"COUNT(*)"};

SetFieldType(mongo.getFields());

}

}

当使用 SELECT * 查询字段时，fields 使用第一条数据返回的 fields。即使，后面的数据有其他 fields，也不返回。

4、返回数据给 MySQL Client

// JDBCConnection.java

private void ouputResultSet(ServerConnection sc, String sql)

throws SQLException {

ResultSet rs = null;

Statement stmt = null;

try {

stmt = con.createStatement();

rs = stmt.executeQuery(sql);

// header

List fieldPks = new LinkedList<>();

ResultSetUtil.resultSetToFieldPacket(sc.getCharset(), fieldPks, rs, this.isSpark);

int colunmCount = fieldPks.size();

ByteBuffer byteBuf = sc.allocate();

ResultSetHeaderPacket headerPkg = new ResultSetHeaderPacket();

headerPkg.fieldCount = fieldPks.size();

headerPkg.packetId = ++packetId;

byteBuf = headerPkg.write(byteBuf, sc, true);

byteBuf.flip();

byte[] header = new byte[byteBuf.limit()];

byteBuf.get(header);

byteBuf.clear();

List fields = new ArrayList(fieldPks.size());

for (FieldPacket curField : fieldPks) {

curField.packetId = ++packetId;

byteBuf = curField.write(byteBuf, sc, false);

byteBuf.flip();

byte[] field = new byte[byteBuf.limit()];

byteBuf.get(field);

byteBuf.clear();

fields.add(field);

}

// header eof

EOFPacket eofPckg = new EOFPacket();

eofPckg.packetId = ++packetId;

byteBuf = eofPckg.write(byteBuf, sc, false);

byteBuf.flip();

byte[] eof = new byte[byteBuf.limit()];

byteBuf.get(eof);

byteBuf.clear();

this.respHandler.fieldEofResponse(header, fields, eof, this);

// row

while (rs.next()) {

RowDataPacket curRow = new RowDataPacket(colunmCount);

for (int i = 0; i < colunmCount; i++) {

int j = i + 1;

if (MysqlDefs.isBianry((byte) fieldPks.get(i).type)) {

curRow.add(rs.getBytes(j));

} else if (fieldPks.get(i).type == MysqlDefs.FIELD_TYPE_DECIMAL ||

fieldPks.get(i).type == (MysqlDefs.FIELD_TYPE_NEW_DECIMAL - 256)) { // field type is unsigned byte

// ensure that do not use scientific notation format

BigDecimal val = rs.getBigDecimal(j);

curRow.add(StringUtil.encode(val != null ? val.toPlainString() : null, sc.getCharset()));

} else {

curRow.add(StringUtil.encode(rs.getString(j), sc.getCharset()));

}

}

curRow.packetId = ++packetId;

byteBuf = curRow.write(byteBuf, sc, false);

byteBuf.flip();

byte[] row = new byte[byteBuf.limit()];

byteBuf.get(row);

byteBuf.clear();

this.respHandler.rowResponse(row, this);

}

fieldPks.clear();

// row eof

eofPckg = new EOFPacket();

eofPckg.packetId = ++packetId;

byteBuf = eofPckg.write(byteBuf, sc, false);

byteBuf.flip();

eof = new byte[byteBuf.limit()];

byteBuf.get(eof);

sc.recycle(byteBuf);

this.respHandler.rowEofResponse(eof, this);

} finally {

if (rs != null) {

try {

rs.close();

} catch (SQLException e) {

}

}

if (stmt != null) {

try {

stmt.close();

} catch (SQLException e) {

}

}

}

}

// MongoResultSet.java

@Override

public String getString(String columnLabel) throws SQLException {

Object x = getObject(columnLabel);

if (x == null) {

return null;

}

return x.toString();

}

当返回字段值是 Object 时，返回该对象.toString()。例如：

mysql> select * from user order by _id asc;

+--------------------------+------+-------------------------------+

| _id | name | profile |

+--------------------------+------+-------------------------------+

| 1 | 123 | { "age" : 1 , "height" : 100} |

4. 插入操作

05.png

// MongoSQLParser.java

public int executeUpdate() throws MongoSQLException {

if (statement instanceof SQLInsertStatement) {

return InsertData((SQLInsertStatement) statement);

}

if (statement instanceof SQLUpdateStatement) {

return UpData((SQLUpdateStatement) statement);

}

if (statement instanceof SQLDropTableStatement) {

return dropTable((SQLDropTableStatement) statement);

}

if (statement instanceof SQLDeleteStatement) {

return DeleteDate((SQLDeleteStatement) statement);

}

if (statement instanceof SQLCreateTableStatement) {

return 1;

}

return 1;

}

private int InsertData(SQLInsertStatement state) {

if (state.getValues().getValues().size() == 0) {

throw new RuntimeException("number of columns error");

}

if (state.getValues().getValues().size() != state.getColumns().size()) {

throw new RuntimeException("number of values and columns have to match");

}

SQLTableSource table = state.getTableSource();

BasicDBObject o = new BasicDBObject();

int i = 0;

for (SQLExpr col : state.getColumns()) {

o.put(getFieldName2(col), getExpValue(state.getValues().getValues().get(i)));

i++;

}

DBCollection coll = this._db.getCollection(table.toString());

coll.insert(o);

return 1;

}

5. 彩蛋

老铁，看到这里，来一波微信公众号关注吧？！

wechat_mp.jpeg

1、支持多 MongoDB ，并使用 MyCAT 进行分片。

2、支持 MongoDB + MySQL 作为同一个 MyCAT Table 的数据节点。查询时，可以合并数据结果。

查询时，返回 MySQL 数据记录字段要比 MongoDB 数据记录字段全，否则，合并结果时会报错。

3、MongoDB 作为数据节点时，可以使用 MyCAT 提供的数据库主键字段功能。

面小团
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mycat 连接mongodb
雨花石
06-18 1489
今天就来测试一下，在mongodb上层使用mycat代理， 关于mycat的安装这里就不说了，mongodb的环境使用上次搭建的集群环境，至于集群怎么搭建，如下： https://blog.csdn.net/shiyu1157758655/article/details/106498801 直接配置mycat server.xml配置，只需要添加下面这一段配置，这里readOnly 代表只读 <user name="mongo_ro"> <property name="pa
四个福利性在线网站分享，每一个都让你欲罢不能……
热门推荐
weixin_43363835的博客
02-03 345万+
随着社会的不断发展，我们网络上的一些资源就像雨后春笋一般的拔地而起，许多东西我们的来不及上车就被新的事物给掩盖了，但是对于一些好用的网站来说是真的很不错，小编今天就和你们分享一些最具福利性的在线网站！ 你们准备好了吗？老司机准备发车了： 一.TinEye.com—图片搜索引擎 如果你的电脑或者你的手机里有一张不知道哪里来的图片，你想要将图片的源地址给找出来该怎么做？一般的时候我们都是束手无策，但是有了这个网站就不一样，可以图片上传带上去进行查找...
Mysql、Redis、MongoDB等中间件搭建参考
zhuyu19911016520
11-08 678
3]主从模式:https://www.didispace.com/installation-guide/middleware/redis-master-slave.html。[4]哨兵模式:https://www.didispace.com/installation-guide/middleware/redis-sentinel.html。[5]集群模式:https://www.didispace.com/installation-guide/middleware/redis-cluster.html。
SqlUtils工具类，Sql IN 条件拼接工具类
蕃薯耀的博客
06-28 2290
ss SqlUtils { /** * * @param params List&lt;Object&gt;，sql执行的？参数List * @param sqlBuffer StringBuffer * @param column String，表字段，当column=user_name，生成如下：user_name in (?,?) * @param values Object[]，问号（?）的数组值， */ public static
mongodb源码分析
每天积累一点，一年后你会发现，自己变化很大
07-30 1583
转：http://blog.csdn.net/yhjj0108/article/details/8252005
Mycat2数据库中间件-其他
06-11
特性：支持SQL92标准遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。支持Galera for MySQL集群，Percona Cluster...
Mycat数据库中间件-其他
06-12
Mycat的目标是以低成本将当前的独立数据库和应用程序平稳地迁移到云端，并解决由于数据存储和业务规模的快速增长而引起的瓶颈问题。 特性： 支持SQL92标准 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件...
MySql Oracle Redis Mycat MongoDB Memcached等数据库教程.zip
09-29
数据库是存储和管理数据的核心工具，本教程涵盖了多个主流的数据库系统，包括MySQL、Oracle、Redis、Mycat、MongoDB以及Memcached。这些数据库在不同的应用场景下各有优势，理解和掌握它们能帮助我们更好地设计、...
MySql Oracle Redis Mycat MongoDB Memcached数据库教程
03-15
本教程涵盖了五个主流的数据库系统：MySQL、Oracle、Redis、Mycat和MongoDB，以及缓存系统Memcached。让我们逐一探讨它们的基础知识、应用场景以及重要特性。 1. MySQL MySQL是一款开源、关系型数据库管理系统，...
Mongodb in Mycat指南.docx
07-30
Mycat 是一款开源的分布式数据库中间件，它支持JDBC连接各种后端数据库，包括Oracle、DB2、SQL Server等，并将它们模拟为MySQL。对于非关系型数据库（NoSQL）的支持，Mycat通过封装NoSQL API并基于JDBC来实现。这...
Mongodb in Mycat指南
04-22
Mongodb in Mycat指南,很好的Mycat入门资料，适合初学者。
Bifrost：Bifrost ----面向生产环境MySQL同步到Redis，MongoDB，ClickHouse，MySQL等服务的多个中间件
02-03
Bifrost ----面向生产环境MySQL同步到Redis，ClickHouse等服务的多个中间件 漫威里的彩虹桥可以将雷神放置到阿斯加德和地球 而这个Bifrost可以将你MySQL里的数据全量，实时的同步到： 雷迪斯 MongoDB ClickHouse（支持DDL） MySQL（支持DDL） 孟买 兔子MQ ActiveMQ 卡夫卡 维基百科： : Bifrost特点 支持MySQL所有存储类型 界面化动态灵活配置不同的数据表及目标库 多数据源，多种目标库支持 同时支持增量及全量数据同步 一个Binlog解析线程，多个目标库并行同步 停机机后重启自动恢复配置，位点精确控制 支持电子邮件及微信企业号等监控报警功能 提供第三方监控平台访问接口（Http Basic验证） MySQL，ClickHouse插件支持DDL同步 简单即可实现 源码下载 ） 你的点击star就是对Bifrost最大的支持！ Bifrost在线界面体验 用户名：Bifrost 密码：Bifrost123 Bifrsot图 MySQL版本（通过测试） 5.1.73 5.5.42
基于Redis+MySQL+MongoDB存储架构应用
10-17
Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加，可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能；依据切片键索引分片，位于各切片独立进行计算，使大数据下的实时分析成为现实。对于高频访问的数据放在了Redis中，有效地降低磁盘I/O，使业务系统响应更为敏捷，满足了高并发下应用服务的高呑吐要求。
SQL解析处理和扩展开发工具 Java
发现问题，面对问题，分析问题，解决问题，总结问题
05-22 6651
SQL语句AST抽象语法树解析；SQL解析；SQL翻译 MySQL语句翻译成Oracle；SQL语句格式化；SQL语句验证；获取表名、查询字段、查询条件；修改表名；为SQL增加额外的where条件；解析select项、表信息、条件信息
抽象语法树mysql_源码分析MyCat之SQL解析篇-----sql解析引擎druid之抽象语法树（mycat1.6）...
weixin_30140399的博客
02-05 1252
Druid解析引擎概要DruidSQL解析引擎主要分为三个部分，AST抽象语法树，词法解析，语法解析AST抽象语法树，语法解析的结果，由众多AST语法对象组成一颗树，而词法分析就是解析出一个一个关键字，作为语法解析的输入。Druid SQL解析引擎整体介绍，推荐一篇文章：http://www.tuicool.com/articles/NNJNbmF故本节重点认识一下Druid解析引擎中抽象语法...
基于alibaba druid的血缘解析工具
最新发布
玉汝于成
12-20 1858
仅仅对mysql数据库的select查询语句进行了血缘解析，该血缘解析包含了原始表字段、临时表字段和目标表字段的关联关系。
mysql异构同步mongo_GitHub - ai-doudou/Bifrost: Bifrost ---- 面向生产环境的 MySQL 同步到Redis,MongoDB等服务的异构中间件...
weixin_39560064的博客
01-20 157
Bifrost ---- 面向生产环境的 MySQL 同步到Redis,MongoDB等服务的异构中间件漫威里的彩虹桥可以将 雷神 送到 阿斯加德 和 地球而这个 Bifrost 可以将 你 MySQL 里的数据,实时的同步到 :RedisMongoDBClickHouseMySQLMemcaheRabbitMQActiveMQKafkaBifrost 特点支持 MySQL 所有存储类型界面化动态...
Mycat对MongoDB分表后Navicat访问测试问题
纸上得来终觉浅，绝知此事要躬行
07-21 3461
采用Mycat数据库中间件做MongoDB的单库分表后，通过Navicat去连Mycat操作，通过SQL语句查询可以轻松获取数据结果集，但是直接点击表名查询报错。推测可能有两种情况：（1）Navicat对MongoDB文档型的数据展示支持不好；（2）Mycat本身对客户端的响应适配输出未做处理。经过调试发现应该是Mycat的问题，主要是Mycat的MongoDBParser类解析的时候只支持SQLSelectStatement类型的，而不支持SHOW CREATE TABLE（对应的声明式语句类型是MySq

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值