9. java将大量数据（千万行，1G 以上）插入到数据库-bach+simple+Arraylist方式-不可用！

本篇高消耗cpu
在i5处理器+16内存电脑上不可用-仅为记录
详细思路请看springboot读取本地大文档1G目录导航–9
插入千万行以上最高效参考
三层
1.controller层

@ApiOperation("insert接口-GG-Bach&SimbleSplitList添加数据")
    @RequestMapping(value = "insertGGBachSimbleSplitList", method = RequestMethod.POST)
    @ResponseBody
    public void insertGGBachSimbleSplitListController(){
        tsi.insertGGBachSimbleSplitListService();
    }

2.service层
接口

void insertGGBachSimbleSplitListService();

实现类

 /*4.bach simble  1G以上文件  存入多个arraylist解决方案*/
    @Override
    public void insertGGBachSimbleSplitListService() {
       /*1.手动提交*/
        SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(
                ExecutorType.BATCH, false);
        /*2.获取mapper对象*/
        tm = session.getMapper(TableMapper.class);
        try {
            File file = new File("D:/data/allCountries.txt");
            /*3.将所有文本存入arraylist中 调用工具类方法ReadTxt.getAllData(file)*/
            ArrayList<ArrayList<Geoname>> al = ReadTxt.getAllData(file);
            /*4.遍历集合 集合套集合 内部集合存部分行 例2000-3000*/
            for (int i = 0; i < al.size(); i++) {
                long time1 = System.currentTimeMillis();
                /*5.获取内集合行数 */
                int partListSize = al.get(i).size();
                /*6.遍历内集合存入数据库*/
                for(int j = 0;j<partListSize;j++){
                    tm.insertTableSimble(al.get(i).get(j));
                }
                //手动每1000000个一提交，提交后无法回滚
                session.commit();
                //清理缓存，防止溢出
                session.clearCache();
                long time2 = System.currentTimeMillis();
                System.out.println("第"+(i+1)+"次耗时："+(time2-time1));
            }
        } catch (Exception e) {
            //没有提交的数据可以回滚
            session.rollback();
        } finally {
            session.close();
        }
    }

工具类

/*3.1获取总数据存入Arraylist arrayList 集合中*/
    public static ArrayList<ArrayList<Geoname>> getAllData(File file){
            //1.获取文件行数
            long totalLines = getTotalLines(file);
            System.out.println("文件总行数："+totalLines);
            //2.计算需要集合下标
            int listLens = (int)totalLines/100000;
            System.out.println("集合下标："+listLens);
            //3.创建总集合
            ArrayList<ArrayList<Geoname>> al = new ArrayList<>();
        try{
            //4.存入集合
            //获取文件
            BufferedReader in = new BufferedReader(new FileReader(file));//构造一个BufferedReader类来读取文件
            /*使用读取行的方法 reader可以读取行*/
            LineNumberReader reader = new LineNumberReader(in);
            /*读取总集合行号*/
            long nowLen = 0;
            for(int k = 0;k<=listLens;k++){
                long time1 = System.currentTimeMillis();
                /*读取内集合行号*/
                ArrayList<Geoname> partal = new ArrayList<>();
                for(int i = 0;i<100000;i++){
                    nowLen = (i+1)+k*100000;
                    String s = reader.readLine();
                        /*将该行拆分*/
                        String[] sz = s.split("\t");
                        Geoname g = new Geoname(sz[0],sz[1],sz[2],sz[3],sz[4],sz[5],sz[6],sz[7],sz[8],sz[9],sz[10],sz[11],sz[12],sz[13],sz[14],sz[15],sz[16],sz[17],sz[18]);
                        partal.add(g);
                    if(nowLen==totalLines){
                        break;
                    }
                }
                al.add(partal);
                long time2 = System.currentTimeMillis();
                System.out.println("第"+(k+1)+"个集合已创建,耗时："+(time2-time1));
            }
            reader.close();
            in.close();
        }catch (Exception e){
            System.out.println("读取总集合出错！");
        }
        //5.返回总集合
        return al;
    }

mapper层
接口：

void insertTableSimble(Geoname g);

实现类

<!--/*4.添加信息*/-->
    <insert id="insertTableSimble" parameterType="com.example.springboot6.bean.Geoname" >
        insert into allCountries (geonameid,name,asciiname,alternatenames,latitude,longitude,feature_class,feature_code,country_code,cc2,admin1_code,admin2_code,admin3_code,admin4_code,population,elevation,dem,timezone,modification_date)
        values (#{geonameid,jdbcType=INTEGER},#{name,jdbcType=VARCHAR},#{asciiname,jdbcType=VARCHAR},#{alternatenames,jdbcType=VARCHAR},#{latitude,jdbcType=DOUBLE},#{longitude,jdbcType=DOUBLE},#{featureClass,jdbcType=CHAR},#{featureCode,jdbcType=VARCHAR},#{countryCode,jdbcType=VARCHAR},#{cc2,jdbcType=VARCHAR},#{admin1Code,jdbcType=VARCHAR},#{admin2Code,jdbcType=VARCHAR},#{admin3Code,jdbcType=VARCHAR},#{admin4Code,jdbcType=VARCHAR},#{population,jdbcType=BIGINT},#{elevation,jdbcType=INTEGER},#{dem,jdbcType=INTEGER},#{timezone,jdbcType=VARCHAR},#{modificationDate,jdbcType=DATE})
    </insert>

完毕！