mongo

mongo分页操作

与mysql数据库不同，mongo数据库是一种NoSQL数据库，它的存储方式是以文档的形式进行存储的。

本文主要记录了在开发过程中遇到的索引问题及数据库分页查询问题。

常见的分页查询方式

1、使用limit和skip进行分页查询

public List<User> pageList(int pageNum ,int pageSize){
    List<User> userList = new ArrayList<>();
    Mongo mg = new Mongo();
    DB db = mg.getDB("data");
    DBCollection coll = db.getCollection("t_user");
    DBCursor limit = coll.find().skip((pageNum-1)*pageSize).sort(new BasicDBObject()).limit(pageSize);
    while (limit.hasNext()){
        userList.add(parse(new User(),limit.next()));
    }
    return userList;
}

private User parse(User user,DBObject obj){
    user.setAge((int) obj.get("age"));
    user.setName((String)obj.get("name"));
    user.setPwd((String)obj.get("pwd"));
    return user;
}

使用skip和limit方法可以简单的实现分页操作，但是如果数据量特别巨大的时候，会出现性能问题，因此这种分页方式不适合生产使用。

二、通过原生的方法实现条件查询、分页和排序

 通过原生的分页查询方式不需要做额外的处理，但是查询条件比较单一，更无法满足像时间范围等查询条件及区间查询。

public Page<User> queryByPage(int age,int pageNo,int pageSize){
    //查询条件,可以传递多个查询条件
    User user = new User();
    user.setAge(age);
    Example<User> example = Example.of(user);

    //分页条件
    //Pageable pageable = new PageRequest(pageNUmber,pageSize);
    Pageable pageable = PageRequest.of(pageNUmber,pageSize);

    return mongoDao.findAll(example,pageable);

}

三、通过Query的方式进行查询

使用这种方式进行查询需要注意的是criteia不能链式设置值，如下面的时间范围查询，且时间范围一定要装化成mongo能够识别的date形式；如果某个字段为可为null时，一定要进行为null判断，否则如果该字段为null，将不会查询出任何数据

public List<User>> queryByPage(int age, int pageNo,int pageSize) {

        Query query = new Query();
        Criteria criteria = new Criteria();

        //设置查询条件
        criteria.and("userId").is(1);
     
        //设置查询时间范围
        if (Objects.nonNull(startTime) && Objects.isNull(endTime)) {
            Date start = new Date(startTime * 1000);
            criteria.and("createdAt").gte(dateToISODate(start));
        } else if (Objects.isNull(startTime) && Objects.nonNull(endTime)) {
            Date end = new Date(endTime * 1000);
            criteria.and("createdAt").lte(dateToISODate(end));
        } else if (Objects.nonNull(basicAuthQuery.getStartTime()) && Objects.nonNull(basicAuthQuery.getEndTime())) {
            Date start = new Date(startTime * 1000);
            Date end = new Date(endTime * 1000);
            criteria.andOperator(
                    Criteria.where("createdAt").gte(dateToISODate(start)),
                    Criteria.where("createdAt").lte(dateToISODate(end))
            );
        }
        query.addCriteria(criteria);
        //查询总条数
        long total = template.count(query, User.class);

        //这个分页要从0开始
        Pageable pageable = PageRequest.of(pageNo, pageSize, Sort.by(Sort.Order.desc("createdAt")));

        query.with(pageable);
        //查询数据
        List<User> users = template.find(query.with(pageable),User.class);
        return users;
    }
  /**
     * 时间范围查询一定要转化成Mongo能识别的Date()
     * @param dateStr 时间
     * @return
     */
 public static Date dateToISODate(Date dateStr) {
        Date parse = null;

        try {
            // 解析字符串时间
            SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS'Z'");
            parse = format.parse(format.format(dateStr));
        } catch (ParseException e) {
            e.printStackTrace();
        }
        return parse;
    }

mongo时间范围查询：

 db.accounts_operate_log.find({"createdAt":{$gt:ISODate("2021-01-25T10:29:41+08:00"),$lt:ISODate("2021-01-28T10:29:41+08:00")}})
   .projection({})
   .sort({_id:-1})
   .limit(100);