Geojson大文件读取

背景：

在项目中有一个geojson文件47G多；使用将geojson加载到内存方法，对内存要求较大，导致加载失败

解决：

使用Jackson库读取大型GeoJSON文件的步骤：

1. 导入Jackson库：在您的Java项目中，首先需要导入Jackson库的相关依赖项。您可以使用Maven或Gradle等构建工具来管理这些依赖项，或手动下载和添加库文件。
2. 创建ObjectMapper对象：ObjectMapper是Jackson库的核心类之一，它提供了读取和写入JSON数据的API。要读取大型GeoJSON文件，您需要使用ObjectMapper创建一个新的实例。
3. 创建JsonParser对象：JsonParser是ObjectMapper类的一部分，它用于解析JSON数据。您需要使用JsonParser创建一个新的实例，将大型GeoJSON文件读取为输入流。
4. 解析GeoJSON数据：使用JsonParser对象，您可以按顺序解析GeoJSON数据。您可以使用while循环和nextToken()方法逐个读取GeoJSON对象、数组、属性等。在处理完每个对象之后，使用skipChildren()方法跳过该对象的子项，以减少内存使用。
5. 将GeoJSON对象转换为Java对象：使用Jackson库，您可以将GeoJSON对象转换为Java对象，以便在Java中进行处理。为此，您需要创建一个Java类，其中包含与GeoJSON对象相同的属性和方法，并使用ObjectMapper的readValue()方法将GeoJSON数据映射到Java对象。
6. 关闭输入流：在完成GeoJSON文件的解析和转换后，您应该关闭JsonParser对象和输入流。这可以确保释放资源并减少内存使用。

java代码：

public class GeoJsonReader {

    private static final int BATCH_SIZE = 100000;

    public static void main(String[] args) throws IOException {
        File file = new File("xxx.geojson");

        JsonFactory jsonFactory = new JsonFactory();
        ObjectMapper objectMapper = new ObjectMapper();

        try (JsonParser jsonParser = jsonFactory.createParser(file)) {
            // 跳过第一个左大括号
            jsonParser.nextToken();
            jsonParser.nextToken();

            // 逐个读取Feature
            int count = 0;
            List<Features> featuresList = new ArrayList<>();
            if (jsonParser.nextToken() == JsonToken.START_ARRAY) {
                while (jsonParser.nextToken() != JsonToken.END_ARRAY) {
                    count++;
                    Features obj = objectMapper.readValue(jsonParser, Features.class);
                    featuresList.add(obj);
                // 达到批次大小，处理批次
                if (count % BATCH_SIZE == 0) {
                    System.out.println("process" + count);
                    featuresList.clear();
                    //processBatch();
                }
            }

            // 处理最后一批Feature
            if (count % BATCH_SIZE != 0) {
                System.out.println("process" + count);
                processBatch();
            }
            }
        }
    }

    private static void processBatch() {
        // 处理分批次读取的Feature
        System.out.println("处理一批Feature");
    }

}