GDALWarp设置GDALWarpOptions::dfWarpMemoryLimit过大时处理失败

使用GDALWarp写了一个裁切图像的算法，在小内存的电脑没事，大内存的电脑就处理失败（32位也没问题），查看GDAL的日志发现下面的错误信息：

Fri Apr 08 17:39:02 2016: GDAL: GDALOpen(E:/Out/TRIPLESAT_1_PAN_L1_20160330024710_000315VI_005.tif, this=000000000508EB40) succeeds as GTiff.
Fri Apr 08 17:39:02 2016: GDAL: GDALDriver::Create(GTiff,E:\xxx/TRIPLESAT_1_PAN_L1_20160330024710_000315VI_005_20160406003001_001.tif,31260,24550,1,UInt16,0000000000000000)
Fri Apr 08 17:39:04 2016: WARP_TIMING: Output buffer read: 2s
Fri Apr 08 17:39:07 2016: WARP_TIMING: Input buffer read: 3s
Fri Apr 08 17:39:07 2016: CPLError: Out of memory allocating -1225110252 bytes for UnifiedSrcDensity mask.
ERROR 2: Out of memory allocating -1225110252 bytes for UnifiedSrcDensity mask.

从上面的日志中可以看出，居然申请内存失败了，见过小内存的机器申请内存失败的，没见过大内存的机器申请内存失败，很郁闷。
对比了小内存机器和大内存机器输入的数据，所有的参数都一样，除了GDALWarpOptions::dfWarpMemoryLimit这个。由于程序需要处理大量的数据，而且机器的内存也很大（128GB），所以就在程序启动之后先获取了系统的空闲内存，然后将空闲内存的四分之一设置给了dfWarpMemoryLimit这个参数（大内存机器这个值大概25GB左右）。将这个值手动改小，程序正确处理了，看来就是这个参数的原因。

通过调试GDAL的代码，在文件gdalwarpoperation.cpp中的函数GDALWarpOperation::CreateKernelMask中有下面的代码（SVN版本库中的代码行数大致在2059行，其他所有的版本都有这个问题，已经提交gdal的bug库）

    if( *ppMask == NULL )
    {
        int nBytes; //this line should be GIntBig nBytes;

        if( nBitsPerPixel == 32 )
            nBytes = (nXSize * nYSize + nExtraElts) * 4;
        else
            nBytes = (nXSize * nYSize + nExtraElts + 31) / 8;

        *ppMask = VSI_MALLOC_VERBOSE( nBytes );

        if( *ppMask == NULL )
        {
            return CE_Failure;
        }

        memset( *ppMask, nDefault, nBytes );
    }

从上面的代码中看的话，其实一般情况下没有任何问题，除了一种情况，如果nXSize和nYSize很大，比如我日志中的（31260*24550+nExtraElts）*4，即使nExtraElts=0，结果也会超过int的存储范围导致数据溢出，从而nBytes的值就会变成负数，进而分配内存的时候就失败了。下面是修改后的代码：

    if( *ppMask == NULL )
    {
        GIntBig  nBytes; 

        if( nBitsPerPixel == 32 )
            nBytes = ((GIntBig )nXSize * nYSize + nExtraElts) * 4;
        else
            nBytes = ((GIntBig )nXSize * nYSize + nExtraElts + 31) / 8;

        *ppMask = VSI_MALLOC_VERBOSE( nBytes );

        if( *ppMask == NULL )
        {
            return CE_Failure;
        }

        memset( *ppMask, nDefault, nBytes );
    }

下面的图是GDAL出错时的各个变量的信息。

转载于:https://www.cnblogs.com/xiaowangba/p/6313899.html