基于Pytorch的遥感大图预测（忽略边缘（划窗））

已于 2023-02-23 11:56:50 修改
阅读量1k 收藏 16
点赞数 4
文章标签： pytorch 深度学习 python
于 2023-02-23 11:33:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40797962/article/details/129176698
版权

基于Pytorch的遥感大图预测

引言

在深度学习中，对遥感数据进行预测时，往往需要大量的内存，造成计算机内存溢出，为了减少计算机内存溢出，本文采用忽略边缘预测方法对遥感图像进行预测及还原，Tensorflow版本请看参考文章链接。
（文章参考自https://zhuanlan.zhihu.com/p/158769096）：

代码实现

from osgeo import gdal
import numpy as np
import datetime
import math
import sys
import torch
import cv2
from torchvision import transforms as T

# 读取tif数据集
def readTif(fileName, xoff = 0, yoff = 0, data_width = 0, data_height = 0):
    dataset = gdal.Open(fileName)
    if dataset == None:
        print(fileName + "文件无法打开")
    #  栅格矩阵的列数
    width = dataset.RasterXSize 
    #  栅格矩阵的行数
    height = dataset.RasterYSize 
    #  波段数
    bands = dataset.RasterCount 
    #  获取数据
    if(data_width == 0 and data_height == 0):
        data_width = width
        data_height = height
    data = dataset.ReadAsArray(xoff, yoff, data_width, data_height)
    #  获取仿射矩阵信息
    geotrans = dataset.GetGeoTransform()
    #  获取投影信息
    proj = dataset.GetProjection()
    return data,geotrans,proj

#  保存tif文件函数
def writeTiff(im_data, im_geotrans, im_proj, path):
    if 'int8' in im_data.dtype.name:
        datatype = gdal.GDT_Byte
    elif 'int16' in im_data.dtype.name:
        datatype = gdal.GDT_UInt16
    else:
        datatype = gdal.GDT_Float32
    if len(im_data.shape) == 3:
        im_bands, im_height, im_width = im_data.shape
    elif len(im_data.shape) == 2:
        im_data = np.array([im_data])
        im_bands, im_height, im_width = im_data.shape

    #创建文件
    driver = gdal.GetDriverByName("GTiff")
    dataset = driver.Create(path, int(im_width), int(im_height), int(im_bands), datatype)
    if(dataset!= None):
        dataset.SetGeoTransform(im_geotrans) #写入仿射变换参数
        dataset.SetProjection(im_proj) #写入投影
    for i in range(im_bands):
        dataset.GetRasterBand(i+1).WriteArray(im_data[i])
    del dataset

#  tif裁剪（tif像素数据，裁剪边长）
def TifCroppingArray(img, SideLength):
    #  裁剪链表
    TifArrayReturn = []
    #  列上图像块数目
    ColumnNum = int((img.shape[0] - SideLength * 2) / (256 - SideLength * 2))
    #  行上图像块数目
    RowNum = int((img.shape[1] - SideLength * 2) / (256 - SideLength * 2))
    for i in range(ColumnNum):
        TifArray = []
        for j in range(RowNum):
            cropped = img[i * (256 - SideLength * 2) : i * (256 - SideLength * 2) + 256,
                          j * (256 - SideLength * 2) : j * (256 - SideLength * 2) + 256]
            TifArray.append(cropped)
        TifArrayReturn.append(TifArray)
    #  考虑到行列会有剩余的情况，向前裁剪一行和一列
    #  向前裁剪最后一列
    for i in range(ColumnNum):
        cropped = img[i * (256 - SideLength * 2) : i * (256 - SideLength * 2) + 256,
                      (img.shape[1] - 256) : img.shape[1]]
        TifArrayReturn[i].append(cropped)
    #  向前裁剪最后一行
    TifArray = []
    for j in range(RowNum):
        cropped = img[(img.shape[0] - 256) : img.shape[0],
                      j * (256-SideLength*2) : j * (256 - SideLength * 2) + 256]
        TifArray.append(cropped)
    #  向前裁剪右下角
    cropped = img[(img.shape[0] - 256) : img.shape[0],
                  (img.shape[1] - 256) : img.shape[1]]
    TifArray.append(cropped)
    TifArrayReturn.append(TifArray)
    #  列上的剩余数
    ColumnOver = (img.shape[0] - SideLength * 2) % (256 - SideLength * 2) + SideLength
    #  行上的剩余数
    RowOver = (img.shape[1] - SideLength * 2) % (256 - SideLength * 2) + SideLength
    return TifArrayReturn, RowOver, ColumnOver

#  获得结果矩阵
def Result(shape, TifArray, npyfile, RepetitiveLength, RowOver, ColumnOver):
    result = np.zeros(shape, np.uint8)
    #  j来标记行数
    j = 0  
    for i,img in enumerate(npyfile):
        img = img.astype(np.uint8)
        
        #  最左侧一列特殊考虑，左边的边缘要拼接进去
        if(i % len(TifArray[0]) == 0):
            #  第一行的要再特殊考虑，上边的边缘要考虑进去
            if(j == 0):
                result[0 : 256 - RepetitiveLength, 0 : 256-RepetitiveLength] = img[0 : 256 - RepetitiveLength, 0 : 256 - RepetitiveLength]
            #  最后一行的要再特殊考虑，下边的边缘要考虑进去
            elif(j == len(TifArray) - 1):
                #  原来错误的
                #result[shape[0] - ColumnOver : shape[0], 0 : 256 - RepetitiveLength] = img[0 : ColumnOver, 0 : 256 - RepetitiveLength]
                #  后来修改的
                result[shape[0] - ColumnOver - RepetitiveLength: shape[0], 0 : 256 - RepetitiveLength] = img[256 - ColumnOver - RepetitiveLength : 256, 0 : 256 - RepetitiveLength]
            else:
                result[j * (256 - 2 * RepetitiveLength) + RepetitiveLength : (j + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength,
                       0:256-RepetitiveLength] = img[RepetitiveLength : 256 - RepetitiveLength, 0 : 256 - RepetitiveLength]   
        #  最右侧一列特殊考虑，右边的边缘要拼接进去
        elif(i % len(TifArray[0]) == len(TifArray[0]) - 1):
            #  第一行的要再特殊考虑，上边的边缘要考虑进去
            if(j == 0):
                result[0 : 256 - RepetitiveLength, shape[1] - RowOver: shape[1]] = img[0 : 256 - RepetitiveLength, 256 -  RowOver: 256]
            #  最后一行的要再特殊考虑，下边的边缘要考虑进去
            elif(j == len(TifArray) - 1):
                result[shape[0] - ColumnOver : shape[0], shape[1] - RowOver : shape[1]] = img[256 - ColumnOver : 256, 256 - RowOver : 256]
            else:
                result[j * (256 - 2 * RepetitiveLength) + RepetitiveLength : (j + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength,
                       shape[1] - RowOver : shape[1]] = img[RepetitiveLength : 256 - RepetitiveLength, 256 - RowOver : 256]   
            #  走完每一行的最右侧，行数+1
            j = j + 1
        #  不是最左侧也不是最右侧的情况
        else:
            #  第一行的要特殊考虑，上边的边缘要考虑进去
            if(j == 0):
                result[0 : 256 - RepetitiveLength,
                       (i - j * len(TifArray[0])) * (256 - 2 * RepetitiveLength) + RepetitiveLength : (i - j * len(TifArray[0]) + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength
                       ] = img[0 : 256 - RepetitiveLength, RepetitiveLength : 256 - RepetitiveLength]         
            #  最后一行的要特殊考虑，下边的边缘要考虑进去
            if(j == len(TifArray) - 1):
                result[shape[0] - ColumnOver : shape[0],
                       (i - j * len(TifArray[0])) * (256 - 2 * RepetitiveLength) + RepetitiveLength : (i - j * len(TifArray[0]) + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength
                       ] = img[256 - ColumnOver : 256, RepetitiveLength : 256 - RepetitiveLength]
            else:
                result[j * (256 - 2 * RepetitiveLength) + RepetitiveLength : (j + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength,
                       (i - j * len(TifArray[0])) * (256 - 2 * RepetitiveLength) + RepetitiveLength : (i - j * len(TifArray[0]) + 1) * (256 - 2 * RepetitiveLength) + RepetitiveLength,
                       ] = img[RepetitiveLength : 256 - RepetitiveLength, RepetitiveLength : 256 - RepetitiveLength]
    return result

area_perc = 0.5

TifPath = r"L:\1-补充数据集制作\模型预测测试\图像\qgtx.tif" # 加载待预测的遥感大图路径
ResultPath = r"L:\1-补充数据集制作\模型预测测试\预测图像\yc.tif" # 预测完成后的遥感大图存储路径

RepetitiveLength = int((1 - math.sqrt(area_perc)) * 256/ 2)

big_image, geotrans, proj = readTif(TifPath)
big_image = big_image.swapaxes(2,0).swapaxes(1,0) #调整影像维度位置

TifArray, RowOver, ColumnOver = TifCroppingArray(big_image, RepetitiveLength)

# 对影像进行归一化并转换为张量
trfm = T.Compose([
    T.ToTensor(),
    ])

# 改成自己的model即可
model = DeepLabv3_plus(nInputChannels=3, n_classes=2, os=8, pretrained=True, _print=True)

predicts = []

for i in range(len(TifArray)):
    for j in range(len(TifArray[0])):
        image = TifArray[i][j]
        image = trfm(image)
        pred = np.zeros((1,3,256,256)) # 与模型训练影像维度保持一致即可
        model.load_state_dict(torch.load(r"weights_49.pth", map_location='cpu'))# 导入训练完成后的模型文件
        model.eval()        
        with torch.no_grad():     
            img = image.unsqueeze(0)
            out = model(img)
            out = torch.argmax(out,dim=1)
            out = torch.squeeze(out).numpy() 
            pred = out
        pred = pred.astype(np.uint8)
        pred = pred.reshape((256,256))
        predicts.append((pred))

# 保存结果predictspredicts
result_shape = (big_image.shape[0], big_image.shape[1])
result_data = Result(result_shape, TifArray, predicts, RepetitiveLength, RowOver, ColumnOver)

# 可视化预测完成后的遥感大图
plt.imshow(result_data)
plt.show()

# 写入预测结果
writeTiff(result_data, geotrans, proj, ResultPath)

预测结果

预测结果是随便预测的，仅作参考。
在这里插入图片描述

pulpfiction丶
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
Deep-SVDD-PyTorch:Deep SVDD异常检测方法的PyTorch实现
05-04
深度SVDD的PyTorch实现 该存储库提供了我们的ICML 2018论文“深度一类分类”中介绍的Deep SVDD方法的实现。 引用与联系 您可以在找到《深层一类分类ICML 2018》论文的PDF。 如果您使用我们的作品，也请引用以下文章： @InProceedings{pmlr-v80-ruff18a, title = {Deep One-Class Classification}, author = {Ruff, Lukas and Vandermeulen, Robert A. and G{\"o}rnitz, Nico and Deecke, Lucas and Siddiqui, Shoaib A. and Binder, Alexander and M{\"u}ller, Emmanuel and Kloft, Marius}, bookti
基于pytorch实现lstm股票预测算法
最新发布
07-17
基于pytorch实现lstm股票预测算法，基于pytorch实现lstm股票预测算法
pytorch进阶学习（八）：使用训练好的神经网络模型进行图片预测
热门推荐
CV在读
04-14 1万+
课程资源： 【小学生都会的Pytorch】九、运用你的模型做预测（1）_哔哩哔哩_bilibili 笔记：https://blog.csdn.net/weixin_45662399/category_12040625.html?spm=1001.2014.3001.5482 目录一、原理介绍1. 加载模型与参数2. 读取图片3. 图片预处理4. 把图片转换为tensor5. 增加batch_size的维度6. 模型验证6.1 模型的初步输出 6.2 输出预测值概率最大的值和位置 6.3 把tensor转为
“Python+”集成技术高光谱遥感数据处理与机器学习教程
m0_74140652的博客
10-11 147
“Python+”集成技术高光谱遥感数据处理与机器学习教程
Pytorch加载模型并进行图像分类预测
无穷酱的博客
10-20 9436
1. 整体流程 1）实例化模型 Assume that the content ofYourClass.pyis: class YourClass: # ...... If you use: from YourClassParentDir import YourClass # means YourClass from model import PythonNet net= PythonNet(T=16).eval().cuda() 2）加载模型 import ...
基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
zhkjjww的博客
03-10 752
深度卷积网络采用“端对端”的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，能够从大量训练集中自动学习全局特征（这种特征被称为“学习特征”），是其在遥感影像自动目标识别取得成功的重要原因，也标志特征模型从手工特征向学习特征转变。随着小卫星星座的普及，对地观测已具备多次以上的全球覆盖能力，遥感影像也不断被更深入的应用于矿产勘探、精准农业、城市规划、林业测量、军事目标识别和灾害评估。●【教程】基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化。深度卷积网络知识详解。
基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化
zhkjjww的博客
08-08 1423
深度卷积网络采用“端对端”的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，能够从大量训练集中自动学习全局特征（这种特征被称为“学习特征”），是其在遥感影像自动目标识别取得成功的重要原因，也标志特征模型从手工特征向学习特征转变。但卷积神经网络涉及到的数学模型和计算机算法都十分复杂、运行及处理难度很大，PyTorch平台的掌握也并不容易。为使广大学者能理解卷积神经网络背后的数学模型和计算机算法，掌握利用PyTorch为基础的遥感影像地物分类，遥感图像目标检测，以及遥感图像目标分割等应用......
遥感图像分割-使用Pytorch实现高分遥感图像图像语义分割-附数据集下载-附完整流程教程.zip
01-19
PyTorch是一个强大的深度学习框架，它支持动态计算图，使得模型的构建和调试更加灵活。在遥感图像语义分割中，通常会采用卷积神经网络（CNN）来提取图像特征，并通过全连接层或上采样操作将特征映射回原始图像尺寸，...
基于pytorch的LSTM多变量多输出时间序列预测使用例
10-18
使用pytorch搭建的简单的LSTM多变量多输出时间序列预测的使用例。 生成了多个以sinx、cosx、tanx构成的序列，使用[i:i+50]的数据预测[i+51]的数据。x是步长为0.1的等差数列
基于pytorch和deeplabv3分割网络实现卫星遥感图像分割(带GUI界面+模型+报告)+演示视频+操作说明文档.zip
01-10
基于pytorch和deeplabv3分割网络实现卫星遥感图像分割(带GUI界面、模型、PPT报告)+演示视频+操作说明文档.zip 【项目介绍】 利用插件的形式在 QGIS 中实现卫星图像分割 使用技术：python,pytorch,opencv,cuda,pyqt5 ...
基于PyTorch的图自动编码器示例.zip
09-18
**基于PyTorch的图自动编码器示例** 在当今的机器学习领域，图神经网络（GNNs）已经成为处理复杂非欧几里得数据结构的重要工具，如社交网络、化学分子结构等。图自动编码器（Graph Autoencoder, GAE）是其中的一种...
基于Pytorch的遥感大图像滑窗预测
whaterverittakes的博客
08-29 727
基于Pytorch的遥感大图像滑窗预测
【技术推文】PyTorch遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
m0_74140652的博客
03-10 606
【技术推文】PyTorch遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
Pytorch深度学习实战（1）—— 使用LSTM 自动编码器进行时间序列异常检测
sikh_0529的博客
11-19 8389
请注意，我们使用的批量大小为 1（我们的模型一次只能看到 1 个序列）。我们将构建一个 LSTM 自动编码器，在一组正常的心跳上对其进行训练，并将看不见的示例分类为正常或异常。我们取得了非常好的结果。虽然我们的时间序列数据是单变量的（我们只有 1 个特征），但代码应该适用于多变量数据集（多个特征），几乎不需要修改。在本教程中，您学习了如何使用 PyTorch 创建 LSTM 自动编码器，并使用它来检测 ECG 数据中的心跳异常。我们需要将我们的示例转换为张量，以便我们可以使用它们来训练我们的自动编码器。
从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
PhyliciaFelicia的博客
02-23 1252
CNN、PyTorch、遥感影像、无人机影像、地物分类、目标检测、语义分割、点云分类、矿产勘探、精准农业、城市规划、林业测量、军事目标识别、灾害评估、测绘、电力巡检、救援、航拍、农业、植保、Transformer、遥感图像识别、深度学习、机器学习、卷积神经网络、BP、ViT模型、DETR模型、FCN，SegNet，U-net、点云数据、语义分割、AlexNet，VGG，googleNet，ResNet，DenseNet、生态
yolov3权重文件_YoLov3实践--遥感图像检测
weixin_39534759的博客
11-24 1287
Yolov3实践：研究并实现基于YOLOV3的遥感影像目标检测方法参考：https://github.com/eriklindernoren/PyTorch-YOLOv3​github.com实验环境：ubuntu16.04 + pytorch1.2.0 + cuda10.0一、数据集介绍1.1 自制的遥感影像数据集数据集地址：链接：https://pan.baidu.com/s/1zdLBg4q...
pytorch模型预测
qq_41166909的博客
03-30 5503
1.数据集 pytorch有个快速构造数据集的方法 但是你的目录结构必须是 image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),data_transforms[x])for x in ['train', 'val']} 首先for循环将['train',val]分别赋给x, x =train/val。 os.path.join(data_dir,x)将文件dataset和train和val拼接起来。.
基于pytorch的电力负荷预测
05-10
电力负荷预测是电力系统规划、调度和运营的重要工作，它...总之，基于PyTorch的电力负荷预测在提高预测准确性、缩短预测时间、提升预测效率等方面具有显著的优势，同时也为电力系统规划、调度和运营提供了重要的支持。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值