深度学习
文章平均质量分 74
Laney_Midory
欢迎来参观菜鸡的奋斗史
展开
-
深度学习道路提取代码跑自己的训练集(一)——CoANet代码
else:在里面加入我们自己的dataset,名字定义为myroaddata。原创 2024-01-26 16:41:05 · 483 阅读 · 4 评论 -
深度学习中RGB影像图的直方图均衡化python代码and对图片中指定部分做基于掩模的特定区域直方图均衡化
方法1.在BGR颜色空间下进行直方图均衡化,可以分别对每个通道进行均衡化。[颜色直方图均衡化](https://www.cnblogs.com/wancy/p/17668345.html)其中主要分成**灰度图以及RGB图的**直方图均衡化。想要去看具体原理的朋友可以查看下面这篇博客的内容。我们这个场景中会用到的就是颜色直方图均衡化了。深度学习很重要的预处理步骤。就是需要对做直方图均衡化。这俩的方法和代码不同。原创 2024-01-24 16:38:49 · 766 阅读 · 0 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(六)——使用mmsegmentation里面的预设网络跑自己的数据集及调试网络
我们可以按照上一篇博文里面的步骤应用到我们自己的数据集上跑。configs文件夹里面有许多其他网络。1、models里面的网络配置。原创 2023-12-21 15:26:08 · 198 阅读 · 2 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(五)——使用SegNeXt跑自己的数据集结果及分析
首先大家先明确我们的SegNeXt网络跟我们的其他网络不在一起,其他网络都在configs/文件夹下。这一篇就是告诉大家我们上一篇配置好的数据集怎么拿到SegNeXt网络上来跑。搞了半天跑的是mmsegmentation里面的其他网络。我们需要跑的是SegNeXt网络呀!图文不符,退货,差评。在上一篇我们已经成功配置好了自己的数据集。但小伙伴们肯定会有疑问。原创 2023-11-09 11:35:41 · 423 阅读 · 12 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(四)——成功解决训练与推理自己的数据集iou为0的问题!!
经过一系列配置后iou算出来是0经过多次尝试后终于让我试出来了正确配置方法!原创 2023-10-28 11:32:59 · 358 阅读 · 1 评论 -
九、(补充文章四)Arcgis实现深度学习训练样本数据的批量制作——只靠原图+shp如何批量制作样本图片
最后通过构造模型批量处理 大大提高了生成样本的速度。因此若没有这个方格文件则会增加批量处理的难度。但是这个方法不仅仅需要shp和原图。还需要带有原图名称的方格面状文件。其中很多都是单张样本的制作方法。之前写了一篇深度学习系列文。原创 2023-06-06 17:29:53 · 1188 阅读 · 0 评论 -
八、使用代码对道路结果进行后处理及iou优化步骤详解
老师又给我画了大饼没办法 只能按照他们的想法做个尝试上一篇的方法还没进行下去就被叫停 又更新了一个新的想法这里记录一下我的尝试过程。原创 2023-05-09 16:26:07 · 773 阅读 · 1 评论 -
七、使用arcgis对道路结果进行后处理及iou优化步骤详解
最近在研究对道路的后处理废话不多说直接放我的教程了。原创 2023-04-19 11:04:08 · 844 阅读 · 0 评论 -
pyqt5页面美化全流程摸索(二)——为控件增加下拉选项及增加鼠标悬停后改变按钮颜色功能
我想为我的一个控件增加菜单栏搞了半天 查阅了大量文章 都失败了没法给ToolButton增加menu啊!我是这么尝试的首先查阅下列文章这些都只能通过在上方添加横排菜单栏然后再添加菜单根本没法让我的一个控件添加菜单我自己写的代码是这样的我尝试着想让我的某一个控件可以有下拉菜单但这样根本添加不了只能通过菜单栏添加比如下面的代码就可以成功运行于是我放弃了这种方式那就只能尝试一下下拉控件了。原创 2023-02-17 14:59:32 · 1289 阅读 · 0 评论 -
运行Dlinknet提取道路和水体(总结帖)——全流程步骤总结
之前写了很多制作样本然后跑代码的帖子但由于我也是第一次跑记录一下自己摸索的过程因此导致每一篇的内容很碎每次我想自己去回顾一下的时候都有太多摸索尝试的过程了因此我在这里总结一下我摸索的整个过程的详细步骤大家可以先看这篇在去我的对应博客里面看具体的细节。原创 2023-01-14 16:20:40 · 1592 阅读 · 2 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(三)——SegNeXt训练与推理自己的数据集
结合这一句话我明白了对数据格式的要求:1、八位深度的mask2、类别的顺序就代表了mask上对应类别的像素值!!!所以我需要修改一下我的图片。原创 2022-12-30 18:55:04 · 977 阅读 · 0 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(二)——SegNeXt源代码安装到测试环境配置全过程摸索
这里忘记如何配置的vscode的小伙伴可以查看我的这篇文章。我们在(一)已经安装了mmsegmentation。首先我们在第一篇里面已经下载了SegNeXt代码。我们先安装一下里面提到的torchprofile。打开vscode查看一下train的代码。我详细介绍了怎么查询自己的虚拟环境。然后按照他的语句进行源代码编译。其实只要这个语句就能安装。接下来继续按照他的教程走。接下来去下载一下他的数据。以及如何配置vscode。查看readme文件。原创 2022-12-08 14:02:50 · 2236 阅读 · 10 评论 -
Ubuntu20搭建pytorch深度学习框架——运行Dlinknet提取道路(二)——代码运行
成功运行后把我的12468个原图+标签分辨率512*512大小的图片放进去开始训练在这里调整了ATCHSIZE_PER_CARD = 16total_epoch = 500现在是2022.6.9 15:27:40看看能够多久运行成功原创 2022-06-09 15:33:07 · 394 阅读 · 2 评论 -
Ubuntu20运行SegNeXt代码提取道路水体(一)——从mmsegmentation安装到测试代码环境配置全过程摸索
SegNeXt代码最近可谓是非常火应导师的要求打工人需要学习一下新的代码但是网上千篇一律都是论文的讲解如何跑通代码并且使用自己的数据跑出一个好的结果却没有一个详细的教程那么就让我自己来从零开始跑通代码吧首先咱们先别想着用自己的数据 从github上下载后发现代码量还是巨大的看得我头晕眼花也不知道数据的格式那我们先去下载该论文使用的数据来跑通吧首先下载代码然后简介里面有这个跳转到指定的链接MMSegmentation原创 2022-12-06 16:21:05 · 1646 阅读 · 12 评论 -
anaconda虚拟环境常用语句总结
虚拟环境操作常用总结原创 2022-11-15 16:48:12 · 258 阅读 · 1 评论 -
windows10使用cuda11搭建pytorch深度学习框架——vscode配置pyqt5+简单制作页面+打包全过程
所以相对于qt师兄给我们推荐了pyqt以及pyinstaller。先来安装 看如何在vscode里使用pyqt。这里记录一下想要将我们的深度学习代码封装。如何在windows上实现。由于我比较习惯python。所以这里记录一下学习过程。原创 2022-10-12 17:10:58 · 1543 阅读 · 0 评论 -
python读取文件名或路径含中文字符的图片并从中筛选出全白或者全黑的图片
那么当真实影像图包含白色图片而且文件名包含中文字符了怎么办。大家知道imread无法读取路径和图片名称含中文字符的图片。只不过筛选的是全黑的样本图和其对应的真实影像。如果数组的平均值为255那么图片就是白色的。那么判断方法是使用了nump里面的函数。同样的可以检测黑色或者其他颜色的图片。之前做样本的时候已经写过这部分代码。而且中文命名的图片也没问题。这个判断方法也不能使用了。于是这里介绍另外的方法。原创 2022-10-08 14:17:26 · 1429 阅读 · 0 评论 -
Ubuntu20搭建pytorch深度学习框架——运行Dlinknet提取道路水体(七)——不依赖增强样本提高训练iou和测试iou的尝试
发现使用增强样本对iou的提升并没有料想中的好。每隔5次输出权重,得到测试iou最高的一次权重。能否优化我们的训练和测试来尝试得到更好的结果呢。并且将训练和测试样本划分为7.5:2.5。确实样本因素是导致iou结果低的首要问题。这里经过老师的提醒经历了很多“事故”总结了出现的各种问题并进行解决。首先是没有完全纯净的测试样本。并且对iou较低的进行了筛选。并且对代码进行了修改和整合。这样看来结果稳定在70多%于是这里直接返璞归真。原创 2022-10-04 12:52:02 · 952 阅读 · 0 评论 -
pycharm运行部分py文件没反应没输出结果
貌似不是test的问题,但有些比如我写的样本增强的代码就可以正常运行。在ubuntu系统上运行了一段时间的深度学习代码。这次换到Windows系统上想重新运行试试。运行深度学习代码跑不出结果!开头加上print也不能输出。深度学习的就都运行不了。等一会就会跳到下一行。原创 2022-09-02 15:34:59 · 2314 阅读 · 0 评论 -
Ubuntu20搭建pytorch深度学习框架——使用增强样本运行Dlinknet提取道路水体(六)——训练iou和测试iou
之前博文里的内容都是从我的训练样本中挑选出的部分数据来作为测试样本。因此需要针对Dinknet网络进行一些参数修改和样本调试。因此我在这里将我的数据划分成75%、25%那么这里计算出的iou其实是训练iou。很可能你的测试iou也还是70%多。但大多数适用场景需要的是测试iou。15%的作为干净的没有训练的测试集。即使训练iou达到了99.9%将75%的训练集进行增强处理。水体的测试iou却只有78%75%的作为训练集重新训练。两个数据集是没有重叠的。......原创 2022-09-01 11:47:31 · 678 阅读 · 0 评论 -
Ubuntu20搭建pytorch深度学习框架——使用增强样本运行Dlinknet提取道路水体(五)——样本增强
做出来多少样本就使用了多少样本来进行训练。之前运行的样本是未进行过样本增强的。这里复盘一下样本训练结果。然后看看进行了样本增强后。原创 2022-07-30 11:08:54 · 887 阅读 · 2 评论 -
Ubuntu20搭建pytorch深度学习框架——运行Dlinknet提取道路后对结果图进行后处理(四)——软件实现
所以最后保存就变成了.tif.shp所以一直报这个错。最后使用模型构建器来批量处理我们所有的图片。目前我猜测可能是名称包含了.tif的后缀。希望有会的朋友帮忙解答一下这个棘手的问题。原创 2022-07-20 20:38:11 · 329 阅读 · 0 评论 -
Ubuntu20搭建pytorch深度学习框架——运行Dlinknet提取道路后对结果图进行后处理(三)——代码+软件实现
得到黑白结果图后由于某些原因需要将结果图转为矢量图进行后处理这是由于大多数软件比如arcgis对矢量shp文件处理较为方便而对栅格图片的处理有很多不便因此我们首先需要将我们的黑白栅格图片转为矢量shp文件这里主要使用arcgis软件实现。.......................................原创 2022-07-18 20:14:14 · 1065 阅读 · 0 评论 -
Ubuntu20搭建pytorch深度学习框架——运行Dlinknet提取道路(一)——前期准备环境配置
之前我是使用的Windows来配置深度学习框架想用Windows的朋友请查看[这篇博文]但由于项目需要以及各种各样的原因貌似用linux系统效率会更好因此从头开始使用ubuntu进行pytorch环境配置首先查看[这篇博文]非常详细地说明了如何安装pytorch环境注意我这里需要的是python3.6因此我在第五步的时候语句如下conda create -n pytorch python=3.6.................................原创 2022-05-31 16:53:26 · 537 阅读 · 2 评论 -
六、软件实现深度学习河流训练样本数据的制作(软件操作完善训练样本)——针对标签图片问题的进一步完善
这里进行到最后发现了标签的一些问题具体问题忘了的朋友可以戳这里进行回顾欲哭无泪今天开会与老师同学们讨论后1、原图白色区域不能作为河流样本存在,也就是说对于DOM图片白色的区域标签得是黑色的背景2、那些不完整的大型河流需要进行样本的补充,线画图没有画出来的需要人工进行补充oh漏~~~~~~真真是返工的节奏了接下来这一篇将要总结一下如何进行样本补救标签的tif文件有了原图的tif文件有了但是发现出现了错误该怎么办???重做一次么???康康我是怎么尝试解决的感觉自己开了个坑首先我尝试原创 2022-05-27 18:27:12 · 635 阅读 · 0 评论 -
五、代码实现深度学习河流训练样本数据的制作(软件操作后用代码完善训练样本)——获取样本图片对应的真实图片
经过四、步骤的一系列操作(点击跳转软件如何操作~过程非常硬核)我们获取了包含有河流样本的与真实DOM相同大小的标签图片但是我们的训练样本是要与真实图片放在一起进行训练的如下图那么我得把DOM图片从文件夹里筛选出来由于当时我是通过arcgis软件把包含有河流样本的方格筛选出来的而图片无法通过这个过程进行筛选最好是通过代码来进行幸好当时改图片名字就是考虑到了这个问题接下来就是要挑选出与标签具有相同名称的DOM图片了...原创 2022-05-13 14:49:33 · 1045 阅读 · 2 评论 -
四、Arcgis实现深度学习河流训练样本数据的制作(使用软件批量获取样本图片)——对已经获取到的完整面状样本数据进行处理
前面使用了arcgis将线状转变为了面状虽然可以一张图一张图的获取并且在这个过程中进行重命名但人工成本太高这里我获取到了河流的所有面状样本,如图如果还按照一、教程的方法来弄(点击跳转看看一张一张如何保存)就有些太麻烦了这里总结一下如何用arcgis软件进行批量生成样本的操作将图片的名字对应到方格上我的图片名字是作为Annotation单独存在于一个图层而方格是另外一个图层如何把这两者进行一个关联我发现他俩都有一个字段FID可以通过这个来进行表连接但是一个是0开头一个是1开原创 2022-05-11 16:55:09 · 2236 阅读 · 2 评论 -
三、代码实现深度学习道路训练样本数据的制作(全流程摸索详解)——重复工作+多次返工的血泪史
先试试把训练样本作为valid样本对比一下结果看起来还不错对比如下:上面是人工画的真值下面是机器训练之后test得到的值原创 2022-05-09 14:03:05 · 1112 阅读 · 0 评论 -
二、代码实现深度学习道路训练样本数据的制作(代码部分详解)——重复工作+多次返工的血泪史
使用python读取文件夹对图片进行批量裁剪通过第一部分操作arcgis制作了一部分样本数据分辨率与原相片保持一致为6060*6060具体如图所示:而我们深度学习一般使用的分辨率是1024和512的这两个数字都无法整除6060因此我在这里选择裁剪成606代码参考了这篇博文感谢大佬!我在这里进行了稍稍的调整因为我想保留原图的格式因此我的代码如下# -*- coding: utf-8 -*-import cv2import os# Cutting the input image原创 2022-05-04 17:28:27 · 3532 阅读 · 1 评论 -
一、使用arcgis进行深度学习道路训练样本数据的制作(arcgis操作详解)——重复工作+多次返工的血泪史
arcgis只保留图片范围内的要素首先设置个坐标系才好操作然后如何只保存我需要的范围内的要素如图,我要只保留图片上的线段最好是对影像处理获取其轮廓线,然后再进行裁剪这里尝试了很多方法,最好的方式是导入图像的时候就可以获取其轮廓查看这篇文章得到轮廓后点击“ArcToolbox”—“分析工具”—“提取”—“裁剪”在打开的“裁剪”界面,选择输入要素(即要被裁剪的要素)选择裁剪要素(即用来裁剪要素的范围线)选择裁剪结果的存放位置,选择好之后,点击“确定”。就可以保留我需要的范围的线要原创 2022-04-18 16:53:39 · 6495 阅读 · 0 评论 -
windows10使用cuda11搭建pytorch深度学习框架——运行Dlinknet提取道路(四)——计算iou评估预测精度
再进行精度评估时使用了这个包的from utils.utils_metrics import compute_mIoU尝试:安装utils包去anaconda的powershell中输入安装指令pip install但貌似不是该头文件还是报错找不到该文件因此只能同级引用引用方法见此博文python引入其他文件夹里的py文件的方法因为我有该util文件夹直接放在运行程序里也是多新建了一个_init_文件就成功运行了不能文件夹套文件夹不然会报错找不到该文件的No such fil原创 2022-01-15 18:16:15 · 1221 阅读 · 2 评论 -
windows10使用cuda11搭建pytorch深度学习框架——运行Dlinknet提取道路(三)——模型精度评估代码完善
重新调试好代码,使用Dinknet34模型对数据集进行训练数据集大小为1480张图片运行时间为2022年1月12日16:00记录下该模型训练时间但如何评估模型的精度也是一个问题,因此作如下总结模型精度评估评价指标: 准确率 (Accuracy),混淆矩阵 (Confusion Matrix),精确率(Precision),召回率(Recall),平均正确率(AP),mean Average Precision(mAP),交除并(IoU),ROC + AUC,非极大值抑制(NMS)。IoU原创 2022-01-12 16:23:20 · 1735 阅读 · 2 评论 -
windows10使用cuda11搭建pytorch深度学习框架——运行Dlinknet提取道路(二)——代码运行问题解决
运行程序去github上下载Dlinknet的代码https://github.com/zlckanata/DeepGlobe-Road-Extraction-Challenge直接使用anaconda的powershell运行程序python train.py出现错误RuntimeError: An attempt has been made to start a new process before the…参考这篇博文我采用了去掉num_workers参数解决下一个问题接踵而至原创 2022-01-11 20:39:29 · 1907 阅读 · 12 评论 -
windows10使用cuda11搭建pytorch深度学习框架——运行Dlinknet提取道路(一)——前期准备环境配置
安装cuda第一步就是安装cuda这里找了一下最详尽对新手最友好的教程就是这个了一步步非常详细对于windows10系统来说可以右键打开NVIDIA控制面板,其他照着教程即可原创 2022-01-10 17:29:31 · 2002 阅读 · 0 评论