在json中读取base64大文件

从一个输入流中读取json，网上的一般方案是直接将文件整个读到内存中，小文件可能没问题，大文件的话无法整个都读到内存里面，会导致内存不足，面对这个问题，我们应该要将json分块读取，再分块解码。

//json格式的内容,其中fileContext为base64的内容
{"id":"abc","fileType":0,"fileName":"1i.txt","fileContext":"AAAAHGZ0eXBpc29tAAACAGlzb2......."}

有一点要注意blockSize 必须要是4的倍数,不然可能会失败.
这个代码只解析了base64字段,其他的字段需要自行解析

package org.example;

import java.io.*;
import java.util.Base64;

public class Main {
    public static void main(String[] args) {
        // 输入文件路径
        String inputFilePath = "C:\\Users\\cat\\Desktop\\2.txt";
        // 输出文件路径
        String outputFilePath = "C:\\Users\\cat\\Desktop\\a21.mp4";
        // Base64字段的标识符
        String base64Field = "\"fileContext\":\"";
        // 数据块大小
        int blockSize = 4096;

        try (
            // 使用 try-with-resources 管理 BufferedReader 和 FileOutputStream，确保资源自动关闭
            BufferedReader bufferedReader = new BufferedReader(new FileReader(inputFilePath));
            FileOutputStream fileOutputStream = new FileOutputStream(outputFilePath);
        ) {
            // 用于存储Base64数据的字符串
            StringBuilder jsonBuilder = new StringBuilder();
            // 是否已经匹配到Base64数据
            boolean isBase64Data = false;
            // 用于存储上一个Buffer的结尾，以便防止Base64字段名称恰好在被分成两个块导致无法匹配到name
            String preBuffer = "";

            // 获取Base64解码器
            Base64.Decoder decoder = Base64.getDecoder();
            // 用于存储读取的字符数据
            char[] buffer = new char[blockSize];

            while (true) {
                // 读取数据块
                int read = bufferedReader.read(buffer);
                if (read == -1) {
                    break;
                }

                // 如果没有匹配到Base64字段名称，将上一个Buffer的结尾加到当前Buffer前面
                String s = isBase64Data ? new String(buffer) : preBuffer + new String(buffer);

                if (!isBase64Data && s.contains(base64Field)) {
                    // 匹配到Base64字段
                    isBase64Data = true;
                    String temp = s.substring(s.indexOf(base64Field) + base64Field.length());
                    if (temp.contains("\"")) {
                        // Base64字段在当前数据块中结束
                        jsonBuilder.append(temp.substring(0, temp.indexOf("\"")));
                        break;
                    } else {
                        jsonBuilder.append(temp);
                    }
                } else if (isBase64Data) {
                    if (s.contains("\"")) {
                        // Base64字段在当前数据块中结束
                        jsonBuilder.append(s.substring(0, s.indexOf("\"")));
                        break;
                    } else {
                        jsonBuilder.append(s);
                    }
                } else {
                    // 未匹配到Base64字段，保存上一个Buffer的结尾，以防止被切割
                    if (s.length() >= base64Field.length()) {
                        preBuffer = s.substring(s.length() - base64Field.length());
                    }
                }

                if (jsonBuilder.length() >= blockSize) {
                    // 如果jsonBuilder已经积累了足够的数据，进行Base64解码并写入输出文件
                    String jsonContent = jsonBuilder.substring(0, blockSize);
                    byte[] decodedBytes = decoder.decode(jsonContent);
                    fileOutputStream.write(decodedBytes);
                    jsonBuilder = new StringBuilder(jsonBuilder.substring(blockSize));
                }
            }



            // 处理剩余的Base64数据,这个while最多循环两次
            while (!"".contentEquals(jsonBuilder)){
                String jsonContent;
                if (jsonBuilder.length() >= blockSize){
                    jsonContent = jsonBuilder.substring(0, blockSize);
                    jsonBuilder = new StringBuilder(jsonBuilder.substring(blockSize));
                }
                else {
                    jsonContent = jsonBuilder.toString();
                    jsonBuilder = new StringBuilder(jsonBuilder.length());
                }

                System.out.println(jsonContent.length());
                byte[] decodedBytes = decoder.decode(jsonContent);
                fileOutputStream.write(decodedBytes);
            }

        } catch (IOException e) {
            // 处理可能的IO异常
            throw new RuntimeException(e);
        }
    }
}