【工具】Java 自动分页获取数据 适用于数据抓取 或者分页获取 等

使用方法 参考main

package org.modules.common.utils;

import cn.hutool.core.lang.func.Func;
import cn.hutool.core.util.PageUtil;
import cn.hutool.json.JSONArray;
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.dromara.hutool.core.collection.CollUtil;
import org.jeecg.common.api.vo.Result;

import java.util.Collection;

/**
 * 分页执行fun
 */
@Slf4j
public class WTool分页 {


    @Data
    public static class 分页执行funFuncVo{

        /**
         * 如果第一次没有的话 建议维护 set总条数 从新计算
         */
        private int 总条数;

        private int 总页数;
        private int 每页条数;
        /**
         * 从1开始
         */
        private int 当前页;

        /**
         * 从0开始每次查询的下标 比姐是有10个好友这里填5就是从第五个好友开始查500个  首次填0 建议就是第一次0第二次就是0+limit
         */
        private int 当前下标;

    }


    @Data
    public static class 分页执行funFuncReq{
        private int 总条数;
        private int 每页条数;
        /**
         * 从1开始
         */
        private int 当前页;

        public 分页执行funFuncReq(int 当前页, int 每页条数, int 总条数) {
            this.当前页 = 当前页;
            this.每页条数 = 每页条数;
            this.总条数 = 总条数;
        }

        /**
         * 通过func参数 维护 vo入参的总条数即可
         * @param 每页条数
         * @param 当前页
         */
        public 分页执行funFuncReq(int 当前页, int 每页条数) {

            //强制执行一次
            this.总条数 = 当前页 * 每页条数;

            this.当前页 = 当前页;
            this.每页条数 = 每页条数;
        }

    }


    /**
     *
     */
    public static <T extends Collection> Result<T> 分页执行fun(分页执行funFuncReq req, Func<分页执行funFuncVo, Result<T>> func, T initCollectionData){

        //首次是不知道的 需要从接口获取
        int 总条数 = req.get总条数();
        int 当前页 = req.get当前页();
        int 每页条数 = req.get每页条数();


        //计算出总共有多少页
        int 总页数 = PageUtil.totalPage(总条数, 每页条数);
        if(总页数 <= 0){
            return Result.error("总页数为0", null);
        }

        if(当前页 > (总页数+1)){
            return Result.error("当前页 大于 总页数", null);
        }

        //因为当前页也需要执行 所以+1
        int 剩余页数 = 总页数 - 当前页 + 1;


//        Collection respList = null;

        for (int i = 0; i < 剩余页数; i++) {


            int 真实当前页 = 当前页+i;
            int 当前下标 = (当前页+i-1) * 每页条数;

            分页执行funFuncVo vo = new 分页执行funFuncVo();
            vo.set当前页(真实当前页);
            vo.set总条数(总条数);
            vo.set每页条数(每页条数);
            vo.set总页数(总页数);

            vo.set当前下标(当前下标);

            try {
                Result<T> call = func.call(vo);
                if(call.isSuccess()){

                    //重新维护页数
                    总条数 = vo.get总条数();
                    每页条数 = vo.get每页条数();
                    //计算出总共有多少页
                    总页数 = PageUtil.totalPage(总条数, 每页条数);
                    if(当前页 > (总页数+1)){
                        return Result.error("当前页 大于 总页数", null);
                    }
                    //因为当前页也需要执行 所以+1
                    剩余页数 = 总页数 - 当前页 + 1;
                    T resultData = call.getResult();
                    if(resultData == null){
                        continue;
                    }

                    if(initCollectionData == null){
                        initCollectionData = resultData;
                    }else{
                        initCollectionData.addAll(resultData);
                    }
                }else{
                    log.error("分页执行fun失败:{}", call);
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

        if(CollUtil.isEmpty(initCollectionData)){
            return Result.error("获取到的数据为空", null);
        }

        return Result.OK(initCollectionData);
    };


    public static void main(String[] args) {



            Result<JSONArray> collectionResult = WTool分页.分页执行fun(new WTool分页.分页执行funFuncReq(1, 500),
                    new Func<WTool分页.分页执行funFuncVo, Result<JSONArray>>() {
                        @Override
                        public Result call(WTool分页.分页执行funFuncVo... parameters) throws Exception {

                            WTool分页.分页执行funFuncVo vo = parameters[0];

                            int 每页条数 = vo.get每页条数();
                            int 当前下标 = vo.get当前下标();

                            return Result.OK(null);
                        }
                    }, new JSONArray());

    }

}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.
  • 45.
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53.
  • 54.
  • 55.
  • 56.
  • 57.
  • 58.
  • 59.
  • 60.
  • 61.
  • 62.
  • 63.
  • 64.
  • 65.
  • 66.
  • 67.
  • 68.
  • 69.
  • 70.
  • 71.
  • 72.
  • 73.
  • 74.
  • 75.
  • 76.
  • 77.
  • 78.
  • 79.
  • 80.
  • 81.
  • 82.
  • 83.
  • 84.
  • 85.
  • 86.
  • 87.
  • 88.
  • 89.
  • 90.
  • 91.
  • 92.
  • 93.
  • 94.
  • 95.
  • 96.
  • 97.
  • 98.
  • 99.
  • 100.
  • 101.
  • 102.
  • 103.
  • 104.
  • 105.
  • 106.
  • 107.
  • 108.
  • 109.
  • 110.
  • 111.
  • 112.
  • 113.
  • 114.
  • 115.
  • 116.
  • 117.
  • 118.
  • 119.
  • 120.
  • 121.
  • 122.
  • 123.
  • 124.
  • 125.
  • 126.
  • 127.
  • 128.
  • 129.
  • 130.
  • 131.
  • 132.
  • 133.
  • 134.
  • 135.
  • 136.
  • 137.
  • 138.
  • 139.
  • 140.
  • 141.
  • 142.
  • 143.
  • 144.
  • 145.
  • 146.
  • 147.
  • 148.
  • 149.
  • 150.
  • 151.
  • 152.
  • 153.
  • 154.
  • 155.
  • 156.
  • 157.
  • 158.
  • 159.
  • 160.
  • 161.
  • 162.
  • 163.
  • 164.
  • 165.
  • 166.
  • 167.
  • 168.
  • 169.
  • 170.
  • 171.
  • 172.
  • 173.
  • 174.
  • 175.
  • 176.