跑通代码---2021_TIP_CoANet: Connectivity Attention Network for Road Extraction From Satellite Imagery

已于 2024-01-25 07:31:29 修改
阅读量2.7k 收藏 13
点赞数 11
分类专栏： 深度学习 python 文章标签： python 开发语言
于 2022-11-11 17:41:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ligous/article/details/126665551
版权

感受：代码、路径方面有点混乱，需要大改，怎么改的过程未及时记录，记录改完后的一些思考，还在慢慢更新中，写的比较乱，还存在许多问题为想明白，已在文中标红，欢迎大佬们评论区或者私信帮我答答疑惑 orz  orz  orz !

paper：CoANet: Connectivity Attention Network for Road Extraction From Satellite Imagery | IEEE Journals & Magazine | IEEE Xplore

使用的源代码仓库：GitHub - mj129/CoANet: CoANet: Connectivity Attention Network for Road Extraction From Satellite Imagery

目录

一、前期准备

1. 环境、安装包

2. 根据操作形成的文件夹结构

二、训练与测试过程

1. train

2. test过程

三、遇到的问题

1. train时，关于网络结构

2. test时的一些操作

（8）test.py中对每个batch里的数据进行操作的流程

3. 关于训练和测试时所使用的数据的疑问

四、其他操作

1. 查看特征图

2. 生成新的crop文件，且按阈值提出全黑的图像

PS：里面加了一些我的理解和部分代码

一、前期准备

1. 环境、安装包

 torch、torchvision、torchaudio的安装参考：

Anaconda虚拟环境中安装cuda和cuDNN

其他包：

（写在前面）如果有下载不下来的包，可以在后面加上国内镜像地址（Anaconda镜像源整理与使用_ligous的博客-CSDN博客），具体操作可以参考5

1. tqdm

pip install tqdm

2. matplotlib

pip install matplotlib

3. pillow

pip install pillow

4. tensorboardX

pip install tensorboard -i https://pypi.douban.com/simple/
pip install tensorboardX -i https://pypi.douban.com/simple/

 5. prefetch_generator

pip install prefetch_generator -i https://pypi.douban.com/simple/

如果下载不下来，可以使用豆瓣的镜像源，也可以使用其他源

6. cv2

# windows

conda install -c conda-forge opencv

# linux

pip install opencv-python -i https://pypi.douban.com/simple/

  7. scikit-image

pip install scikit-image -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

8. torchsummary

pip install torchsummary -i https://pypi.douban.com/simple/

         安装完这些包应该就没什么问题了。

额外的：

timm

pip install timm -i https://pypi.tuna.tsinghua.edu.cn/simple

2.数据准备

1.运行create_crops.py，对原始的1024图像进行裁剪，训练时使用的就是裁剪后的图像，即生成的crops文件夹里的数据。

2.运行create_connection.py，对crops中的gt生成connection_d1和connection_d3，这个是用来计算连通性loss的。

根据操作形成的文件夹结构：

 进入crops文件夹的结构

二、训练与测试过程

1. train

train时

（1）需要修改mypath.py中的return路径

（2）修改train.py中的

（3）修改 dataloaders/_init_.py 中的 train 或者 test 模式

2. test过程

1. 修改test.py

（1）修改文件夹地址

（2）修改“ --ckpt "

        ckpt指向的是训练好的模型，所在的位置，即你要用哪个模型去test

（3）修改test结果保存的地址

 2. 修改dataloaders中的_init_.py

         换成修改好的test时使用的代码段

3.修改 mypath.py

三、遇到的问题

1. train时，关于网络结构

（1）损失分支与损失函数设计

 （2）优化器的设计

 （3） 是否使用类别平衡权重

        代码中没有使用

 

 （4）做一系列图像增强

        在生成dalaloader后，逐batchsize获取数据时，不同的数据集进行不同的数据增强操作。

        train和val的图像增强都在deepglobe_crop.py中，即训练过程采用的是裁剪后的512×512大小的图进行训练。

        训练集的操作

        使用的图像增强方法：随机旋转、水平翻转、高斯模糊、归一化。

        使用的tr.Normalize()中的参数是Imagenet数据集的均值和方差

        验证集的操作（比训练集的操作少，只做了归一化）

        test（采用的是val集的数据）的图像增强操作在deepglobe.py中，即测试过程采用的是原图1024×1024大小的图。

        测试集的操作

        normalize的参数是怎么获得的呢？这个是在数据输入网络前做的normalize，可以预先自己算一下数据集的mean和std，在填入其中，本次的训练中，可以直接用源码中提供的参数，如果要训练自己的私有数据集，可以自己算一下这个参数，换一下。

（5）BN的设置

2. test时的一些操作

（6）test.py读取数据后的操作，不太明白

        读取的图像是原图像，1024的，读取了image，target（gt），con0，con1，con2这三个是d=1时的connection图，没看到读取d=3时的，不知道是想干嘛

与train.py中读取数据的操作对比

读取了image，target（gt）

con0，con1，con2 这三个是d=1时的connection图

con_d1_0，con_d1_1，con_d1_2 这三个是d=3时的connection图（比test时多读取的部分）

（7）test.py对输入图像的操作以及输入模型得到结果

虽然读取了图片的connection信息图像connect_label，但是后面好像没有用到

（8）test.py中对每个batch里的数据进行操作的流程

  1. 读取image，gt，connection（d=1）
  2. 对image一系列操作得到三种结果，并将与原来的image连接起来

         它在测试时候，读取完image后，对它做了很多操作，img[batch, channel, height, weight]]，第一行应该是垂直翻转【这里面的不对：水平翻转】，第二个是水平翻转【这里面的不对：对batchsize里的每个图片反向排列一下】，第三个是第一第二的结合，【这里面的应该不对：其实它代码里，测试的时候，batchsize设置的是1，也就是说它有效的只进行了翻转】。在这些操作进行完，计算完结果后，还是要再恢复的，具体的，就是在5，6，7中，list的append操作。
         这里对image进行一系列的操作，是为了“测试时图像增强”（TTA）可以了解一下。
  3. 将读取到的三个d=1时的connection连接起来
  4. 使用model，对连接起来的image预测，得到output，out_connect（d=1），out_connect（d=3）
  5. 对out_connect（d=1）进行一系列操作（4种），并添加到一个out_connect_full的list中，对列表中的4种out_connect进行sum相加操作，形成pred_connect，对其判断，阈值小于0.9的设为0，大于等于0.9的设为1
  6. 与5相似，对out_connect_d1（d=3）进行一系列操作（4种），并添加到一个out_connect_d1_full的list中，将列表中的4种out_connect_d1进行sum相加操作，形成pred_connect_d1，对其判断，阈值小于2.0的设为0，大于等于2.0的设为1，不太懂为什么
  7. 将ouput变成numpy生成pred，将target变成numpy生成target_n，对pred进行一系列操作（4种），并添加到一个pred_full的list中，将列表中的4种pred进行mean平均操作，形成pred_full，对其判断，阈值小于0.1的设为0，大于0.1的设为1
  8. 对5，6，7中生成的pred_connect，pred_connect_d1，pred_full相加+，形成su，对其判断，阈值大于0的设为1
  9. make_grid操作
    将image（也就是一开始读取进来后进行了一系列变换的image），保存至out_image图像
    将target（也就是一开始读取进来的没有进行一系列变换的target），保存至out_GT图像
    将su（也就是8中生成的最终图像），保存至out_pred_label_sum图像

RandomScaleCrop是随机重新剪裁了吗，可是读取的数据就是512大小的呀

3. 关于训练和测试时所使用的数据的疑问

           在他的源码里，在train.py中，读取了train_crops.txt和val_crop.txt里的数据，在test.py中，读取了val.txt里的数据，而val_crop.txt也就是进行了分割的val.txt，也就是，他这个代码里的val集就是他所说的test集，整个数据集中就只有tain和val，在测试计算评估指标时，用的是在train.py训练时所用来验证的val集，如果真的是这样的话，那么在训练时，所选取获得的模型，就已经偏向于测试集了，也不算是test（也作为val）影响了训练过程，只是在训练阶段，选择了一个对test集最好的模型。这样就和平时的不太一样，是在刷指标叭。测试集原本应该是看不到的数据，或许应该在划分出来的train里再划分一个val。train:val:test=7:1:2 ？

四、其他操作

1. 查看特征图

步骤：

（1）把model换成查看feature_map的model，会导致引用medel的加载语句有问题，需要修改成medeling。（目前没问题了）

（2）运行的是test_feature_map.py

        修改 '--ckpt' 模型的地址  

（3）修改 draw_feature.py中特征图保存的路径

（4）修改val_feature_map.txt中要检测的文件名字

2. 生成新的crop文件，且按阈值剔除全黑的图像

（1）生成crop文件

        运行image_process中的create_crops_***_***.py，在train/crops_***_***文件夹中生成带有overlap的裁剪图像，images和gt文件夹，这两个文件夹里是全部的train+val的图像。同时在train下生成train_***_***_crops.txt，和val_***_***_crops.txt两个文件，里面分别是train、val的图像名称。

（2）从train/***_***_crops文件夹中把train、val分别挑出来

  • 运行image_process/copy_to_another_file.py，修改路径，读取train/train_***_***_crops.txt，把train的图像转移到新的文件夹中
  • 运行image_process/copy_to_another_file.py，修改路径，读取train/val_***_***_crops.txt，把val的图像转移到新的文件夹中
  • 这就生成了一个crops_***_***_all

（3）按照阈值将符合条件的crops中的train集图像，移到另一个文件夹中crops_***_***_剔除阈值

        运行move_proportion_of_white_pixels.py，将train中符合阈值的图像复制转移，并生成新的train_***_***_tichu_crops.txt，这些图片转移到另一个命名为crops_***_***_剔除阈值/train_gt，train_images，untrain_gt，untrain_images

（4）将生成的符合阈值的train集和只经过裁剪的val集混在一起，因为val集不需要剔除阈值

ligous
关注
专栏目录
基于COANet的遥感道路提取
如果想成为中心，那么就到中心去吧。
05-26 1520
1. 数据准备 1.1 原始数据格式 标签为二值图，后缀为png - ${your data root} -- train_images --- xxx.tif --- xxx.tif ... -- train_labels --- xxx.png --- xxx.png ... train_images train_labels 1.2 生成connect标签 cd ${your project root}/dataGenerators python create_co.
面向遥感图像的道路区域提取及优化
zyy_ltt的博客
12-11 902
一、论文2017 DeepRoadMapper Topology Loss2018 RoadTracer iterative-deep-learning2019 Leveraging Crowdsourced GPS Data for Road Extraction from Aerial Imagery RoadNet RoadTagger Generative Graph Transformer road_connectivity NL-LinkNet: Toward Lighter but More
深度学习道路提取代码跑自己的训练集（一）——CoANet代码
Laney_Midory的博客
01-26 761
else:在里面加入我们自己的dataset，名字定义为myroaddata。
Prefetch Generator 开源项目教程
最新发布
gitblog_01180的博客
08-20 290
Prefetch Generator 开源项目教程 prefetch_generatorSimple package that makes your generator work in background thread项目地址:https://gitcode.com/gh_mirrors/pr/prefetch_generator 项目介绍 Prefetch Generator 是一个用于优化...
Fully Convolutional Network for Automatic Road Extraction from Satellite Imagery
qq_36321330的博客
02-24 533
Abstract 1.Introduction 2. Dataset 3. Model 4. Training 5. Conclusions References [1] http://deepglobe.org/. [2] http://ods.ai/. [3] I. Demir, K. Koperski, D. Lindenbaum, G. Pang, J. Huang, S. Basu, F...
基于遥感影像的道路提取论文、开源代码和数据集汇总
热门推荐
如果想成为中心，那么就到中心去吧。
02-05 3万+
文章目录2019RoadNet: 2019 RoadNet: code: https://github.com/yhlleo/RoadNet 论文的贡献 该文提出了一个多任务像素端到端CNN，道路网，以同时预测路面，边缘和中心线。 道路网自动学习多尺度和多级特征，并在一个专门设计的级联网络中进行整体训练，可以处理各种场景和尺度的道路。 上述子任务在训练阶段是相关的，其中路面分割的预测被应用于道路边缘检测和道路中心线提取。 一方面，精细的路面分割有利于道路边缘检测和道路中心线提取，这可以看作是具有少数复杂背
MEF:COA-NET
weixin_43690932的博客
11-05 548
仅供未coding时使用
COANET-MESNAGE---Ruby-on-Rails-App:ESIEA Ruby On Rails Android 项目
07-03
自述 此应用程序旨在让具有金鱼记忆力的人记住他们的美容产品（面霜、化妆品等）何时会过期。 为此，只需创建一个帐户，并在您打开产品时，通过添加其到期日期（打开它的日期 + 产品背面指示的月数）在网站上输入它。 所以不再有使用过期产品的风险！ 管理员日志：adr：admin@test.com mdp：superadmin
l-曲线matlab代码-simulation_source_connectivity:Simulation_source_connectiv
05-24
l-曲线矩阵代码Simulation_source_connectivity Simulation_source_connectivity MATLAB函数，该函数允许生成强加三节点大脑网络的伪EEG信号，用于评估以下各项： 两种不同的脑源定位方法：精确低分辨率断层扫描...
WIRELESS-SENSOR-NETWORK.rar_Distributed network_WSN_sensor_wirel
07-13
A wireless sensor network (WSN) is a wireless network consisting of spatially distributed autonomous devices using sensors to monitor physical or environmental conditions. A WSN system incorporates a ...
on_connectivity_widget:Flutter软件包，用于侦听网络连接并向应用程序显示自定义消息
04-06
on_connectivity_widget on_connectivity_widget是软件包，用于侦听网络状态并向应用程序显示自定义消息。 该插件使用作为依赖项来侦听网络状态。 帮助： 任何问题？ 有什么建议吗？ 翻译： 注意：请随时为自述...
prefetch_generator:简单的程序包，使您的生成器在后台线程中工作
05-24
prefetch_generator 使您的生成器在后台线程中工作的简单软件包。 安装： pip install prefetch_generator 除标准库外没有依赖项 同时适用于python2和python3（pip3安装） 描述： 这是一个单功能包，可将任意生成器转换为后台头生成器，该后台生成器在并行后台thead中预取几批数据。 如果您有一个计算量大的进程（CPU或GPU）来迭代处理生成器中的小批处理，而生成器消耗了一些其他资源（磁盘IO /从数据库中加载/如果您有未使用的内核，则需要更多CPU），这将非常有用。 默认情况下，这两个过程将不断等待彼此完成。 如果使生成器在预取模式下工作（请参见下面的示例），则它们将并行工作，从而有可能节省您的GPU时间。 当使用Tensorflow和Theano（烤宽面条，块，原始等）迭代小批数据进行深度学习时，我们亲自使用预取生成
Road-extraction-from-satellite-images-master.zip
05-15
卫星地图或者大分辨率地图路径提取方法，matlab实现，需要较好效果需要调整一些参数。运算速度较快，结果还算准确。主要是一些图像处理方法。
svr算法matlab代码-Pattern_Regression_Matlab:Matlab代码用于支持向量回归（SVR）和启示向量回归（RV
05-21
svr算法matlab代码Pattern_Regression_Matlab Matlab代码用于支持向量回归（SVR）和启示向量回归（RVR）分析以及交叉验证，以评估预测能力。 另请参阅此处的代码。 如果您使用这些代码，将不胜感激引用我们的相关...
手把手搭建深度学习环境以及跑通Github代码（以Pix2PixGAN为例）
qq_44815345的博客
05-14 8916
本文创作来源于B站上的一个搭建深度学习环境视频，我将从零开始教大家搭建一个基础的深度学习案例环境以及解答本人在搭建时遇到的一系列问题。本文将以Github上的Pix2Pix为例，展示深度学习中环境搭建以及Github代码的使用。
Faster-RCNN模型跑通总结（使用pytorch1.10+cuda10.2版本）
ljtlyk的博客
04-04 9052
Faster-RCNN模型复现及代码跑通踩坑总结
【pytorch】给训练踩踩油门-- Pytorch 加速数据读取
Shwan_ma的博客
12-01 4418
本文转载于 https://zhuanlan.zhihu.com/p/80695364 训练模型的时候有时候会发现显卡的占用一直跑不满，会很浪费，往往是因为IO瓶颈导致的训练速度降低。 本文可以从以下几个方面进行对模型加速： 一, prefetch_generator 使用 prefetch_generator 库在后台加载下一 batch 的数据。 安装： pip install prefet...
推荐开源项目：Prefetch Generator - 背景线程预取生成器
gitblog_00015的博客
05-25 376
推荐开源项目：Prefetch Generator - 背景线程预取生成器 prefetch_generatorSimple package that makes your generator work in background thread项目地址:https://gitcode.com/gh_mirrors/pr/prefetch_generator 1、项目介绍 prefetch_gen...
socket_connect(): Host lookup failed [-10000]
04-04
This error message is indicating that the program was unable to lookup the IP address for the host you are trying to connect to. This could be due to a variety of reasons, such as a network issue, DNS resolution issue or the host being down. To resolve the issue, you can try the following steps: 1. Check your internet connection: Make sure that your device is connected to the internet and that there are no connectivity issues. 2. Verify the hostname: Double-check that the hostname or IP address you are trying to connect to is correct. 3. Check DNS settings: If you are using a DNS server to resolve hostnames, make sure that the DNS settings are configured correctly. You can try changing the DNS server settings to see if that resolves the issue. 4. Try a different port: If you are connecting to a specific port, try using a different port to see if that resolves the issue. 5. Contact the administrator: If none of the above steps work, the host you are trying to connect to may be down or experiencing issues. Contact the administrator of the host to see if there are any issues on their end.
评论 71
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值