metamodel-mongodb查询工具

最新推荐文章于 2024-06-11 09:48:11 发布
最新推荐文章于 2024-06-11 09:48:11 发布
阅读量350 收藏
点赞数
分类专栏： 工具类 数据库 metaModel 文章标签： mongodb 数据库 java 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27794563/article/details/108578836
版权

使用metaModel查询mongdb的所有列及相关条件查询工具

package com.kdgcsoft.zw.service;

import com.alibaba.fastjson.JSONObject;
import com.kdgcsoft.zw.entity.ColumnInfo;
import com.kdgcsoft.zw.entity.MetaSource;
import com.kdgcsoft.zw.entity.ResponseResult;
import com.kdgcsoft.zw.entity.SourceCode;
import com.kdgcsoft.zw.util.DBHelper;
import com.kdgcsoft.zw.util.QueryCondition;
import com.kdgcsoft.zw.util.StringUtil;
import com.mongodb.*;
// import org.apache.metamodel.data.DataSet;
import org.eobjects.metamodel.data.FirstRowDataSet;
import org.eobjects.metamodel.data.Row;
import org.eobjects.metamodel.data.DataSet;
import org.eobjects.metamodel.mongodb.MongoDbDataContext;
import org.eobjects.metamodel.query.OperatorType;
import org.eobjects.metamodel.query.Query;
import org.eobjects.metamodel.schema.Column;
import org.eobjects.metamodel.schema.ColumnType;
import org.eobjects.metamodel.schema.Table;

import java.sql.Connection;
import java.util.*;

/**
 * @program: MetaDataAgent
 * @Date: 2020/9/1 18:02
 * @Author: Mr.Zzc
 * @Description:
 */
public class MongoMetaModelUtil {
    /**
     * MongoClient mongoClient = new MongoClient(new MongoClientURI("mongodb://assad:123@127.0.0.1:27017/?authSource=testdb&ssl=false"));
     *
     * 其中 mongo uri 的验证连接格式如下：
     * mongodb://userName:password@host/?authSource=databaseName&ssh=true;
     *
     *
     * @param source
     * @return
     */
    public static MongoClient getMongoClientWithCredential(MetaSource source){
        String verifyDatabase = source.getVerifyDatabase();
        String user = source.getDbUsername();
        String password = source.getDbPassword();
        String ip = source.getDbIp();
        int port = source.getDbPort();

        ArrayList<MongoCredential> mongoCredentials = new ArrayList<>();
        MongoCredential credential = MongoCredential.createCredential(user,verifyDatabase,password.toCharArray());   //验证对象
        MongoClientOptions options = MongoClientOptions.builder().sslEnabled(false).build();     //连接操作对象
        mongoCredentials.add(credential);
        MongoClient mongoClient = new MongoClient(new ServerAddress(ip,port),mongoCredentials,options);
        return mongoClient;
    }

    public static MongoClient getMongoClient(MetaSource source){
        // String url = source.getDbUrl();
        // String url = "mongodb://guest:Guest123!@172.20.2.166/?authSource=admin&ssh=true;";
        // return  new MongoClient(new MongoClientURI(url));
        String verifyDatabase = source.getVerifyDatabase();
        String user = source.getDbUsername();
        String password = source.getDbPassword();
        String ip = source.getDbIp();
        int port = source.getDbPort();

        // ArrayList<MongoCredential> mongoCredentials = new ArrayList<>();
        // MongoCredential credential = MongoCredential.createCredential(user,verifyDatabase,password.toCharArray());   //验证对象
        MongoClientOptions options = MongoClientOptions.builder().sslEnabled(false).build();     //连接操作对象
        // mongoCredentials.add(credential);
        MongoClient mongoClient = new MongoClient(new ServerAddress(ip,port),options);
        return mongoClient;
    }


    public static MongoDbDataContext getMongoDbContext(MetaSource source){
        MongoClient mongoClient = getMongoClient(source);
        DB db = new DB(mongoClient,source.getDbName());
        // DB db = null;
        // db = source.getDbSchema().equals(source.getDbName())?new DB(mongo,source.getDbSchema()):new DB(mongo,source.getDbSchema());

        MongoDbDataContext mc = new MongoDbDataContext(db);
        return mc;
    }


    public static MongoDbDataContext getMongoDbContextWithCredential(MetaSource source){
        MongoClient mongoClient = getMongoClientWithCredential(source);
        Mongo mongo = mongoClient;
        DB db = new DB(mongo,source.getDbName());
        // DB db = null; //使用schema连接
        // db = source.getDbSchema().equals(source.getDbName())?new DB(mongo,source.getDbSchema()):new DB(mongo,source.getDbSchema());
        MongoDbDataContext mc = new MongoDbDataContext(db);
        return mc;
    }

    /**
     * 获取芒果客户端
     * @param source
     * @return
     */
    public static MongoClient getMClient(MetaSource source){
        return (StringUtil.isEmpty(source.getDbUsername())||StringUtil.isEmpty(source.getDbUsername()))?getMongoClient(source): getMongoClientWithCredential(source);
    }

    /**
     * 获取芒果上下文
     * @param source
     * @return
     */
    public static MongoDbDataContext getMContext(MetaSource source){
        return (StringUtil.isEmpty(source.getDbUsername())||StringUtil.isEmpty(source.getDbUsername()))?getMongoDbContext(source): getMongoDbContextWithCredential(source);
    }


    public static ArrayList<String> getColumn(MetaSource source){
        String dbObjName = source.getDbObjName();
        MongoDbDataContext mContext = getMContext(source);
        Table table = mContext.getTableByQualifiedLabel(dbObjName);
        Column[] columns = table.getColumns();
        ArrayList<String> list = new ArrayList<>();
        for (Column column : columns) {
            ColumnType type = column.getType();
            String name = type.name();
            list.add(column.getName()+","+name);
        }
        return list;
    }

    /**
     * 芒果获取集合字段 及其 类型（备注:获取的类型为统一metaModel自有类型）
     * @param source
     * @return
     */
    public static ArrayList<ColumnInfo> getMongoDbColumn(MetaSource source){
        String dbObjName = source.getDbObjName();
        MongoDbDataContext mContext = getMContext(source);
        Table table = mContext.getTableByQualifiedLabel(dbObjName);
        Column[] columns = table.getColumns();
        ArrayList<ColumnInfo> list = new ArrayList<>();
        for (Column column : columns) {
            ColumnInfo columnInfo = new ColumnInfo();
            columnInfo.setColName(column.getName());
            columnInfo.setColType(column.getType().name());
            list.add(columnInfo);
        }
        return list;
    }


    public static ArrayList<String> getColumnName(MetaSource source){
        String dbObjName = source.getDbObjName();
        MongoDbDataContext mContext = getMContext(source);
        Table table = mContext.getTableByQualifiedLabel(dbObjName);
        Column[] columns = table.getColumns();
        ArrayList<String> list = new ArrayList<>();
        for (Column column : columns) {
            list.add(column.getName());
        }
        return list;
    }









    /**
     * 芒果查询数据
     * @param source
     * @param condition
     * @return
     */
    public static ResponseResult getDataOnMongoDbWithCondition(MetaSource source, QueryCondition condition){
        ResponseResult result = new ResponseResult();
        Connection connection = null;
        MongoDbDataContext mc= null;
        try {
            mc = MongoMetaModelUtil.getMContext(source);
        } catch (Exception e) {
            result.setData("连接失败:"+e.getMessage());
            return  result;
        }
        if (mc == null) {
            result.setData("连接失败");
            return result;
        }
        ArrayList<String> colNames = condition.getColNames();
        if (colNames==null||colNames.size()==0){//如果列名为空 则默认查询全部
            colNames = getColumnName(source);
        }
        String orderBy = condition.getOrderBy();
        List whereCondition = condition.getWhereCondition();
        String aggregateFunction = condition.getAggregateFunction();//设想支持一个聚合函数
        String groupBy = condition.getGroupBy();
        String having = condition.getHaving();
        int currentPage = condition.getCurrentPage();
        int size = condition.getSize();
        int firstRow = currentPage==1?1:(currentPage-1)*size+1;
        int maxRows = size;

        String tableName = source.getDbObjName();
        String schemaName = source.getDbSchema();
        String dbType = source.getDbType();
        // if (SourceCode.MYSQL_CODE.equalsIgnoreCase(dbType)){
        //     tableName = schemaName + "." + tableName;
        // }else if (SourceCode.ORACLE_CODE.equalsIgnoreCase(dbType)){
        //     tableName = schemaName + ".\"" + tableName+"\"";
        // }else if (SourceCode.SQLSERVER_CODE.equals(dbType)){
        //     tableName = schemaName + "." + tableName;
        // }

        List<HashMap<String, Object>> AllDataList = new ArrayList<>();//用于封装主数据
        try {
            int rowsToMaterialize;

            if (firstRow == 1) {
                rowsToMaterialize = maxRows;
            } else {
                rowsToMaterialize = maxRows + (firstRow - 1);
            }


            Table table = mc.getTableByQualifiedLabel(tableName);
            if (table==null){
                result.setData("该集合："+tableName+" 不存在");
                return result;
            }

            Query query = new Query();
            for (String colName : colNames) {
                //TODO test
                /*if (colName.equalsIgnoreCase("electric")){
                    colName = "count(electric)";
                    query.select(colName);
                }else {
                }*/
                query = query.select(table.getColumnByName(colName));

            }
            //TODO 测试
            // colNames.clear();
            // colNames.add("nm");
            // colNames.add("electric");
            // query.select(table.getColumnByName("nm"))
            //         .select("AVG(electric)");
            query.from(table);
            if (whereCondition!=null&&whereCondition.size()!=0){
                //Column column, OperatorType operatorType, Object operand
                // query.where(table.getColumnByName("FullName"), OperatorType.LIKE,"'%广场%'");
                for (Object o : whereCondition) {
                    if (StringUtil.isEmpty(o)) continue;
                    OperatorType operatorType = getMetaModel3_5OperatorType(o.toString());
                    query = operatorType==null?
                            query.where(o.toString()):
                            query.where(table.getColumnByName(o.toString().split(operatorType.toSql())[0].trim()),
                                    operatorType,
                                    o.toString().split(operatorType.toSql())[1].toString().trim());
                }
            }
            query = orderBy==null?query:query.orderBy(orderBy);
            // query = groupBy==null?query:query.groupBy(groupBy);
            // query = having==null?query:query.having(having);
            query.setMaxRows(rowsToMaterialize);
            DataSet dataSet = mc.executeQuery(query);
            if (firstRow > 1) {
                dataSet = new FirstRowDataSet((DataSet)dataSet, firstRow);
            }
            // dataSet = (firstRow == 1)?dataSet:(new FirstRowDataSet((DataSet)dataSet, firstRow));

            List<Row> rows = dataSet.toRows();
            // final LinkedHashMap<String, Object> mapModel = listToMapKey(colNames);

            for (Row row : rows) {
                LinkedHashMap<String, Object> map = new LinkedHashMap<>();
                Object[] values = row.getValues();
                map = listKeyArrayValueToMap(colNames, values);
                AllDataList.add(map);
                // String s = "";
                // for (Object value : values) {
                //     s+=value+" ";
                // }
                // System.out.println(s);
            }
            String resultData = JSONObject.toJSONString(AllDataList);
            result.setSuccess(true);
            result.setData("查询成功！");
            result.setReturnValue(resultData);
        } catch (Exception e) {
            result.setData("执行出错："+e.getMessage());
            e.printStackTrace();
        }finally {
            DBHelper.closeQuietly(connection);
        }

        return result;

    }

    /**
     * 根据字符串表达式获取3.5版本 获取包含的 OperatorType类型
     * 注: metaModel 5版本 不兼容低版本3.5
     * @param whereStr
     * @return
     */
    public static OperatorType getMetaModel3_5OperatorType(String whereStr){
        OperatorType type = null;
        for (OperatorType value : OperatorType.values()) {
            if (whereStr.contains("<>")){
                type = OperatorType.DIFFERENT_FROM;
            }
            else if (whereStr.contains(value.toSql())){
                type = value;
                System.out.println(value.name());
            }
        }
        return type;
    }




    public static LinkedHashMap<String,Object> listToMapKey(List<String> list){
        LinkedHashMap<String, Object> map = new LinkedHashMap<>();
        for (String key : list) {
            map.put(key,"");
        }
        return map;
    }

    /**
     * 将list值作为key 数组作为value 顺序存储 要确保list的key与数据value值一一对应
     * @param list
     * @param objects
     * @return
     */
    public static LinkedHashMap<String,Object> listKeyArrayValueToMap(List<String> list,Object[] objects){
        LinkedHashMap<String, Object> map = new LinkedHashMap<>();
        for (int i = 0; i < list.size(); i++) {
            for (int j = 0; j < objects.length; j++) {
                if (i==j){
                    map.put(list.get(i),objects[j]);
                }
            }
        }
        return map;
    }

}

相关依赖

<!--metaModel关系型数据库驱动包-->
		<dependency>
			<groupId>org.apache.metamodel</groupId>
			<artifactId>MetaModel-jdbc</artifactId>
			<version>5.3.2</version>
		</dependency>

		<dependency>
			<groupId>org.eobjects.metamodel</groupId>
			<artifactId>MetaModel-core</artifactId>
			<version>3.4.3</version>
		</dependency>


		<!--mongodb-->
		<dependency>
			<groupId>org.apache.metamodel</groupId>
			<artifactId>metamodel-mongodb</artifactId>
			<version>3.4.5</version>
			<scope>system</scope>
<!--			<systemPath>${project.basedir}/src/main/resources/lib/metamodel-mongodb-3.4.5.jar</systemPath>-->
			<systemPath>${project.basedir}/src/main/resources/lib/metamodel-mongodb-3.4.5.jar</systemPath>
		</dependency>
<!--		<dependency>-->
<!--			<groupId>org.apache.metamodel</groupId>-->
<!--			<artifactId>MetaModel-mongodb</artifactId>-->
<!--			<version>4.6.0</version>-->
<!--			<type>pom</type>-->
<!--		</dependency>-->

		<!--<dependency>
			<groupId>org.mongodb</groupId>
			<artifactId>mongo-java-driver</artifactId>
			<version>3.3.0</version>
		</dependency>-->
		<dependency>
			<groupId>org.mongodb</groupId>
			<artifactId>mongo-java-driver</artifactId>
			<version>3.9.1</version>
		</dependency>

其中 metamodel-mongodb 引用的是本地jar包
下载地址：https://download.csdn.net/download/qq_27794563/12840322

码屌丝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MongoDB --- 常用工具集
编码爱好者
09-22 6047
MongoDB 使用 BI Connector 来支持 BI 组件直接使用 SQL 或 ODBC 数据源方式直接访问 MongoDB，在早期 MongoDB 直接使用 Postgresql FDW 来实现 SQL 到 MQL 的转换，后来实现更加轻量级的 mongosqld 来支持 BI 工具的连接。
5 款超好用的 MongoDB GUI 使用测评 ｜ 下
weixin_39545889的博客
07-06 959
MongoDB 是一种非关系型数据库，于 2017 年上市，现市值已超过 300 亿美元，根据 Stack Overflow 2022年的调查显示，超过四分之一的开发者都在使用 MongoDB。像 MongoDB 这种非关系型数据库在进行数据处理时十分灵活，用户可以根据自己的需求不断更改数据库的模式，而不是被禁锢在垂直化的固定模式中，这也是其广受关注的原因。与传统的基于表格和列的数据库不同，非关系型数据库通过嵌套的键值对进行数据操作。所以当用户通过前端解析数据时，非关系型数据库的数据格式就已经满足要求了。但
mongodb查询工具Studio3T
03-13
如果您不习惯MongoDB查询语言，那么Studio3T的SQL查询可能会派上用场。编写SQL选择表达式和SQL联接来查询mongodb，并查看SQL查询如何转换为MQL——这是一个很好的工具。SQL查询语言
mongoDB查询小工具
hellosimico的博客
08-12 508
最近为了自动化测试平台上能覆盖mongodb相关的测试点，参考开发写的代码，搞了一个查询mongo的小工具。 首先是把开发定义的数据结构放到一个DTO里面。（一般开发都定义在自己代码里了，照着抄就行） 然后再定一个config @Configuration public class MongoDBConfig{ @Value("芒果地址") private String url; @Bean public MongoDbFactory mongoDbFactor
推荐开源项目：Apache Metamodel - 灵活的数据访问框架
最新发布
gitblog_00092的博客
06-11 408
推荐开源项目：Apache Metamodel - 灵活的数据访问框架 项目地址:https://gitcode.com/apachearrow-nanoarrow/metamodel 1、项目介绍 Apache Metamodel 是一个强大的数据访问框架，它的主要目标是为各种不同类型的数据存储提供统一的探索和查询接口。无论你的数据驻留在数据库、文件系统还是其他异构存储中，Metamodel 都...
查询MongoDB的好工具
WNC32475的博客
12-05 139
我比较常用，简单易懂，且能够一步到位。
MongoDb查询工具类
marksa
05-24 863
目录 1.下载安装MongoDB和MongoDB工具 MongoDB下载地址：https://www.mongodb.com/download-center MongoDB工具studio3t下载地址：https://studio3t.com/download/ 2.spring boot集成MongoD a.pom b.配置文件application.properties 3.工...
Mongodb工具类（crud）
分享式获得也是一种学习的态度
03-24 567
mongodb-crud
MetaModel-mongodb-4.3.3.jar
09-14
MetaModel的扩展驱动支持 MetaModel-mongodb-4.3.3.jar 可使用metamodel查询mongodb的结构信息和主数据等
MongoDB分析工具之二：MongoDB分析器Profile
weixin_30770783的博客
06-04 558
MongoDB优化器profile 在MySQL 中，慢查询日志是经常作为我们优化数据库的依据，那在MongoDB 中是否有类似的功能呢?答案是肯定的，那就是MongoDB Database Profiler。Profiler默认是关闭的，你可以选择全部开启，或者有慢查询的时候开启。 1.开启profiling功能 有两种方式可以控制 Profiling 的开关和级别，第一种是直接在启动参数...
Mongodb查询分析器解析
0102的博客
08-19 438
Mongodb查询分析器 动态相关项目中涉及到数据量大和吞吐量达的接口，例如关注页面动态，附近动态，这部分数据都是存储在mongodb中，在线上数据中分类两个mongodb集合存储 其中关注动态基于扩散写的设计，数据量已经快到 8 亿。 附近动态并没有写扩散的数据扩大，并且曝光量相比关注页面少一点，并且重要的是有TTL，因此附近动态相关的表数据50万以上 在大数据量查询下，优化查询速度是提高系统性能的一个关键点，在Mysql中我们有explan 诊断工具，来帮助我们来对sql进行分析，同样的Mong
国外java源码网站-mongodb-jdbc-driver:MongoDBJDBC驱动程序|DbSchemaMongoDB设计器
06-06
国外java源码网站 MongoDb JDBC 驱动程序 | DbSchema MongoDB 设计器 驱动是为大家编写的，需要一个MongoDb JDBC驱动。 驱动程序功能 能够执行本机 MongoDb 查询的 JDBC 驱动程序，类似于 Mongo Shell。 驱动程序使用本机来连接和执行查询。 因此 JDBC URL 与 . 默认情况下，驱动程序返回一个带有单个对象的 ResultSet。 使用resultSet.getObject(1)来获取这个对象。 在 URL 中添加参数expand=true将为结果文档中的每个键在结果集中创建一列。 如果设置了 expand，驱动程序将提前读取许多行以创建正确的 ResultSetMetaData。 这对用户来说是透明的。 这是因为结果中的第一个文档可能具有较少的键作为下一个记录。 为了能够执行原生 MongoDb 查询，我们在驱动程序中嵌入了一个 Rhino JavaScript 引擎。 每次您执行查询时，我们都会使用 Rhino 作为 JavaScript 解析并运行它。 从DatabaseMetaData.getTables()
mongoclient like查询
zhujianlin1990的专栏
04-18 722
要查询集合patient_1中name以new开头的用户 db.patient_1.find({name:{$regex:’new’}}); 或者 db.patient_1.find({name:/^new/}) 也能达到一样的效果 用同样的方式在mongoclient上查询第一种语法ok，第二种语法查询不到数据。 第一种语法： 第二种语法：错误或无结果 ...
python从mongodb里取出数据进行可视化_mongodb - 可视化工具 / pymongo - 使用方法
weixin_39545269的博客
11-27 628
一、mongodb可视化工具 - adminMongohttps://www.cnblogs.com/shiweida/p/7692468.htmlInstallationNavigate to folder & install adminMongo: git clone https://github.com/mrvautin/adminMongo.git && cd adminMongoInst...
064：ORM查询条件详解-in和关联模型查询
weixin_33738555的博客
01-06 388
ORM查询条件详解-in和关联模型查询： in：提取那些给定的 field 的值是否在给定的容器中。容器可以为 list 、 tuple 或者任何一个可以迭代的对象，包括 QuerySet 对象。示例代码如下： result = Article.objects.filter(id__in=[1,4,5]) 以上代码在翻译成 SQL 语句为如下： SELECT `article`...
MongoDB查询及更新数据
yong472727322的博客
04-06 1828
package com.leo.test; import au.com.bytecode.opencsv.CSVReader; import com.mongodb.*; import com.mongodb.client.FindIterable; import com.mongodb.client.MongoCollection; import com.mongodb.client.MongoDatabase; import org.bson.Document; import org.bson....
MongoDB 语句查询
L'Étranger的博客
08-27 206
目录 $match $project $group $sort ,limit,skip $sample 正文 准备数据 from pymongo import MongoClient import datetime client=MongoClient('mongodb://localhost:27017') table=client['db1']['emp'] l=[ ('张飞','male',18,'20170301','',7300.33,401,1), #以下是教学部 ('张云'
Mongodb 数据库查询语句 条件查询
weixin_45633407的博客
03-15 1139
ongodb 数据库查询语句 条件查询
MongoDB Schema Design 数据库设计
xiayuanfeng的专栏
04-11 626
介绍 使用MongoDB设计数据库，就不要按照关系型数据库的思维来做，如范式化数据。因为MongoDB不支持服务端的join查询。一般来说，在对于顶端的对象都要用单独的collection进行存储。 当然不需要望每个对象都要创建一个collection。可替代的策略是使用嵌入对象(embed object)。 例子，在下面的图，有两个collection。 分别是stud...
开放世界逻辑程序：新一代形式化规范的基石
在传统的形式化规格语言中，自动化定理证明和模型检查等工具扮演着核心角色。然而，该研究提出了一种名为“开放世界逻辑编程”的新概念，它与当前最先进的求解器实现了整合。开放世界逻辑编程引入了新的语义框架，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值