List 泛型为string 数据分组(大量数据时间查询优化)。

问题:
业务:根据170个煤矿编码,查询opentsdb,然后根据返回值将人员卡编码和人员表匹配出信息,再根据返回值将人员卡编码和分站信息表匹配出信息。
一开始:将一个一个的煤矿编码传入到opentsdb,然后根据返回值将人员卡编码和人员表匹配出信息,再根据返回值将人员卡编码和分站信息表匹配出信息。用时5分.
第1次优化:将煤矿编码分组(每组10个)传入到opentsdb查询返回,然后拼接成一个大的结果集,另外一边就是将所有的煤矿编码传入到人员表和分站表查询出来结果集,在根据optsdb大结果集遍历根据人员分站结果集匹配信息。由于opentsdb查询过大,时间超出。
第二次优化:将煤矿编码分组(每组10个)传入到opentsdb,人员表和分站表中进行查询,然后信息匹配,然后将这些数据进行list addll添加到新的大的结果集返回。用时1分多一点。

分组算法代码:
https://blog.csdn.net/dwz735660836/article/details/77200551 原链接。这个稍微有点BUG,如果有十个数,将其按照三个分,应该是4组,却分了3组,第1组多出一个10,十一个按照三个分,就会是四个组。所以我做了一个小优化。

public class test {
 
	/**
     * @param list 煤矿编码list
     * @param n 代表每组多少煤矿编码
     * @return 每组多少个煤矿编码
     */
    private  static  List<List<String>> grouping(List<String> list, Integer n) {

        // 求余数
        int yushu = list.size() % n;
        // 求分组数
        int count0 = list.size() / n;

        boolean flag = false;

        if(yushu>=n/1){
            flag=true;
        }

        List<List<String>> data = new ArrayList<>();
        // 获取多余list
        List<String> sub = new ArrayList<>(list.subList(list.size() - yushu , list.size()));
        // 遍历list到余数前
        for (int i = 0; i < count0+1; i++) {
            List<String> ls ;
            if(flag){
                if(i==count0){
                    break;
                }
                ls = new ArrayList<>(list.subList(i * n, i * n + n));
                // 将余出的数据加入分组
                if (i < sub.size()) {
                    ls.add(sub.get(i));
                }
            }else{
                int endex = i * n + n;
                if(endex>=list.size()){
                    endex=list.size();
                }

                ls = new ArrayList<>(list.subList(i * n, endex));
            }
            if(ls.size()!=0){
                data.add(ls);
            }
        }
        return data;
    }
 
	public static void main(String[] args) {
		List<String> list = new ArrayList<String>();
		for (int i = 0; i < 5; i++) {
			list.add(i + "");
		}
		List<List<String>> test = test(list, 3);
 
		System.out.println("result:" + test);
 
	}
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值