文件的切分和聚合，使用java模拟（Map-Reduce）

1、给一个有很大数据量的文本文件

2、增大文本数据（代码）

public static void main(String[] args) throws Exception {
        //字符缓冲流读取一个文件
        BufferedReader br = new BufferedReader(
                new FileReader("D:\\bigdata\\ownbigdata\\data\\students.txt"));
//        BufferedReader br = new BufferedReader(
//                new FileReader("D:\\bigdata\\shujiabigdata\\data\\score.txt"));
        //给定文件输出位置
        BufferedWriter bw = new BufferedWriter(
                new FileWriter("D:\\bigdata\\ownbigdata\\data\\bigstudents.txt"));
//        BufferedWriter bw = new BufferedWriter(
//                new FileWriter("D:\\bigdata\\ownbigdata\\data\\score.txt"));
        //每次读取一行
        String line;
        while((line=br.readLine())!=null){
            //翻倍写入文件
            for (int i = 0; i < 100; i++) {
                bw.write(line);
                bw.newLine();
                bw.flush();
            }
        }
        //释放资源
        bw.close();
        br.close();
    }

3、切分文件（方法1）（将整个文件平均分成8份）（以文件总行数划分）

public static void main(String[] args) throws Exception{
        //获取总行数
        int sum = sumLine();
        //切分文件的每一份所占的行数
        int fileRow = sum / 8;
        //每读取fileRow行数据就生成一个新文件
        //文件名称是 split---0 split---1 ...
        BufferedReader br = new BufferedReader(
                new FileReader("D:\\bigdata\\ownbigdata\\data\\bigstudents.txt"));
        //给一个文件下标，每次写入完成数据下标加1
        int index=0;
        BufferedWriter bw &