【C++与Java使用GDAL读写GDB矢量数据的效率问题、以及遇到的坑】

最新推荐文章于 2024-05-06 20:29:07 发布

飒飒的宇y

最新推荐文章于 2024-05-06 20:29:07 发布

阅读量827

点赞数 23

分类专栏： WebGIS 文章标签： c++ java arcgis postgresql

本文链接：https://blog.csdn.net/m0_53928179/article/details/136482776

版权

WebGIS 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

C++与Java使用GDAL读写GDB矢量数据的效率问题、以及遇到的坑

一、引言

最近在写一个GDB数据读并写到PG库的功能，一开始是使用Java调用GDAL来完成的，经过多线程、读写分离、队列等方式优化后速率还是不尽人意，在面临大量数据时耗时依旧很长。GDAL是C++开发的，于是便想到用C++来开发数据读取的功能，因为C++写入库太麻烦了，所以想到通过 C++、Kafka再Java的方式，使用Kafka来作中间桥梁，C++读取数据往消息队列里面放，Java从队列里面获取数据再入库。虽然没有C++读取数据后直接入库效率高，但是我本人不是很会C++，更别提用C++写一个类似Mybatis的数据入库框架了。因为是第一次用C++版的GDAL，于是便作了效率验证，发现C++的效率居然没有Java高。

我在某乎上也提问过，原文地址

二、代码

Java和C++都是使用的GDAL3.8.4，并且C++使用MSVC + CMake的方式编译Release版本，添加了优化编译参数 /o2，代码以及结果如下：

Java:

import org.gdal.gdal.gdal;
import org.gdal.ogr.*;

public class Test04 {
    
    public static void main(String[] args) {
        long startTime = System.nanoTime();
        
        gdal.AllRegister();
        gdal.SetConfigOption("GDAL_FILENAME_IS_UTF8", "YES");
        
        Driver driver = ogr.GetDriverByName("OpenFileGDB");
        DataSource dataSource = driver.Open("F:\\dev_file\\test_file\\test.gdb");
        
        int flag = 0;
        for (int i = 0; i < dataSource.GetLayerCount(); i++) {
            Layer layer = dataSource.GetLayer(i);
            
            long l1 = layer.GetFeatureCount();
            for (long l = 0; l < l1; l++) {
                Feature feature = layer.GetNextFeature();
                if (feature == null){
                    continue;
                }
                Geometry geometry = feature.GetGeometryRef();
                //double area = geometry.GetArea();
                //System.out.println("图层：" + i + "的第：" + l + "; 共：" + l1);
                System.out.println("====== 图层：" + i + " ---矢量数据 ---> " 
                				+ feature.GetGeometryRef().ExportToJson());
                flag++;
            }
        }
        System.out.println("共读取到：" + flag);
        
        long endTime = System.nanoTime();
        long duration = (endTime - startTime);  // 单位为纳秒
        System.out.println("耗时: " + duration / 1000000 + "毫秒");
        
    }
}

运行结果：

在这里插入图片描述

C++:

#include <iostream>
#include <chrono>
#include "gdal_priv.h"
#include "ogrsf_frmts.h"

using namespace std;
using namespace std::chrono;

int main() {
    auto start = high_resolution_clock::now();
    GDALAllRegister();
    CPLSetConfigOption("GDAL_FILENAME_IS_UTF8", "YES");
    const char *driver[] = {"OpenFileGDB", nullptr};
    auto *data_set = static_cast<GDALDataset*>(GDALOpenEx(
    											R"(F:\dev_file\test_file\test.gdb)",
                                                          GDAL_OF_VECTOR, driver,
                                                          nullptr, nullptr));
    if (data_set == nullptr){
        cout << "数据源空" << endl;
        exit(-1);
    }
    int total = 0;
    int layer_count = data_set->GetLayerCount();
    for (int i = 0; i < layer_count; ++i) {
        auto *layer = static_cast<OGRLayer*>(data_set->GetLayer(i));
        if (layer == nullptr){
            cout << "图层为空" << endl;
            continue;
        }
        layer->ResetReading();
        int f = 0;
        int *flag = &f;
        OGRFeature *feature;
        GIntBig feature_count = layer->GetFeatureCount();
        while ((feature = layer->GetNextFeature()) != nullptr){
            auto *geom = static_cast<OGRGeometry*>(feature->GetGeometryRef());
            if (geom == nullptr){
                cout << "矢量数据为空" << endl;
                continue;
            }

            auto polygon = (OGRPolygon*)(geom);
            //const double area = polygon->get_Area();
            //cout << "图层：" << i << "的第：" << *flag << "; 共：" << feature_count << endl;
            cout << "矢量数据：" << geom->exportToJson() << endl;
            (*flag)++;
            OGRFeature::DestroyFeature(feature);
        }
        total = total + *flag;
    }
    cout << "共读取到：" << total << endl;
    GDALClose(data_set);
    auto stop = high_resolution_clock::now();
    auto duration = duration_cast<microseconds>(stop - start);
    cout << "耗时: " << duration.count() / 1000 << " 毫秒" << endl;
    return 0;
}