40.图像语义分割-LinkNet

最新推荐文章于 2024-05-17 10:17:09 发布
最新推荐文章于 2024-05-17 10:17:09 发布
阅读量2.9k 收藏 15
点赞数 3
分类专栏： tensorflow笔记 文章标签： 深度学习 计算机视觉 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/potato123232/article/details/121856875
版权

LinkNet的论文地址 https://arxiv.org/pdf/1707.03718.pdf

LinkNet相对于UNET的精度低一点，但是响应速度得到了提升

LinkNet的网络结构是这样的

  • full-conv是反卷积

其中的Encoder Block是这样的

其中(m,n)与(n,n)代表的是输入图像的形状，m(括号中的第一个值)表示的是图像的维度，如果我们是初始输入进来的图，那m就代表图像的通道，如果是第二个EncodeBlock那么就代表上一个EncodeBlock的卷积核个数，n(括号中的第二个值)表示的是卷积核个数，也就是说这个括号的两个值表示输入与输出

后面的除2是代表对原图像大小缩小二倍，所以我们在进行残差操作的时候同样需要对图像缩小二倍，所以我们对x进行卷积操作以达到缩小二倍图像的目的

Decoder Block是这样的，这里*2表示将图像放大两倍,这里的m,n的意义核EncodeBlock中的m,n的意义一致

我们下面使用的数据集为街景数据集，街景数据集在这里有提到 38.图像语义分割-UNET_potato123232的博客-CSDN博客

我们在创建模型之前的代码与上面那片文章的代码是完全相同的，我们简单过一下

目录

1  导入库

2  读取路径

3  组合路径

4  定义读取图像函数

5  定义相关参数并加载图像之后调整数据集

6  创建模型

6.1  创建卷积模块

6.2  创建反卷积模块

6.3  创建EncodeBlock模块

6.4  编写DecondeBlock模块

6.5  创建LinkNet模型

7  定义训练参数

8  定义训练与测试步骤

9  定义检查点与可视化信息

10  训练并保存

11  预测模型


1  导入库

2  读取路径

3  组合路径

4  定义读取图像函数

5  定义相关参数并加载图像之后调整数据集

下面就是与之前代码不同的部分


6  创建模型


6.1  创建卷积模块

为了让代码看起来更简洁，所以我们定义一个卷积模块，卷积模块有三个层组成，第一层是卷积，第二层是批标准化，第三层是激活函数relu

kernel_size我们默认为3，strides默认为1，这些后面调用的时候可以更改

6.2  创建反卷积模块

反卷积模块由三个层组成，第一个层是反卷积，第二层是批标准化，第三层是激活函数relu，这里我们最终是用反卷积作为输入层，最终一层我们可以选择不激活，所以我们要给一个参数判定是否激活

我们在这里令strides为2，这样可以达到放大图像的目的


6.3  创建EncodeBlock模块

我们依照下面这个图创建EncodeBlock模块，我们可以看到units都是n，在第一步图像要减小2倍，所以strides为2，其余没有变都为1，卷积核大小都为3*3，我们使用默认的就可以了

6.4  编写DecondeBlock模块

卷积，反卷积，之后再卷积，卷积核个数在图中的要求是不同的，我们只看括号后面的值，分别的m/4和n

6.5  创建LinkNet模型

这里maxpooling层的kernel_size就是3，然后默认是将图像大小变为原来的1/2

我们定义DecodeBlock神经元个数的时候，我们以decode4距离，输入是512，那么我们的unit1就是512//4，我们的输出必须要满足残差的要求(与Encoder Block输出的shape一致)，所以我们这里要写256

我们定义decode1的时候可以看到下方的输入是64.所以我们要在decode1定定义输出为64

最后的 self.output_full_conv2 = DeConvBlock(34) 这里是数据集决定的，我们一共有34类

之后我们定义前向传播的过程

之后我们将其复制给model的变量

至此我们的模型已经创建完毕了


7  定义训练参数

剩下的过程就与我们之前训练的UNET过程相同了，我们简单看一下

8  定义训练与测试步骤

9  定义检查点与可视化信息

在训练之前要创建一个checkpoint_file的文件夹


10  训练并保存

同样由于是自定义模型，所以不能保存为h5文件

训练的速度很快，我使用的970M训练了将近2个小时就训练完成了，在保存模型中会有这些warning，这些warning不影响我们的保存

11  预测模型

我们依然使用 38.图像语义分割-UNET 的图像与代码

从观感上来讲我觉得LinkNet并没有UNET的效果号，我们现在打开tensorboard看一下是不是这样，下面是UNET的三个检测值

  • test_acc = 0.82
  • test_iou = 0.26
  • test_loss = 0.68

下面是linknet的数据

  • test_acc

最大值差不多0.78

  • test_iou

最大值差不多0.17

  • test_loss

最小值差不多0.8

以上我们仅用30个epoch与UNET进行对比，无论是UNET或是LinkNet都还有下降的趋势，也就是说增加epoch可以使模型变得更好

Suyuoa
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
pp-linknet
03-21
PP-LinkNet：通过多阶段训练提高高分辨率卫星图像的语义分割 该存储库包含代码。如果您觉得此存储库有用，请引用我们的论文： @inproceedings{AnTran_ACMMM_2020, author = {Tran, An and Zonoozi, Ali and Varadarajan, Jagannadan and Kruppa, Hannes}, title = {PP-LinkNet: Improving Semantic Segmentation of High Resolution Satellite Imagery with Multi-Stage Training}, year = {2020}, isbn = {9781450381550}, publisher = {Association for Computing Machinery}, address
Smoke-semantic-segmentation:使用 Baseline U-Net 模型和 LinkNet 以及图像增强通过语义分割进行烟雾检测
05-30
在 Keras 中使用Baseline U-Net 模型和图像增强通过语义分割进行烟雾检测 这个 repo 是的部分实现 此用例的主要目的是检测任何背景中的烟雾。 烟雾的来源、颜色、环境等也可能有变化。我们应该能够从语义上分割烟雾以分析它的各种特征，如颜色、强度、烟雾喷射持续时间（来自视频源）等。 master分支具有U-Net的实现，但是在不同分支中提供了使用另一种实现。 优网 U-Net 是一种卷积神经网络，是德国弗莱堡大学计算机科学系为生物医学图像分割而开发的。 该网络基于全卷积网络，其架构经过修改和扩展，可以使用更少的训练图像并产生更精确的分割。 建筑学 图片来源：德国弗赖堡大学计算机科学系 在 Kaggle Airbus 船舶检测挑战中， 使用这个模型从过滤器尺寸 8 开始，从 768x768 图像检测船舶。 但是，我已将它用于从 Google 搜索获得的“烟雾图像”并将其调
pytorch-linknet
04-30
链接网 该存储库包含我们在e-Lab开发的网络的PyTorch实施。 您可以转到我们的文章或阅读文章以获取更多详细信息。 培训脚本存在问题，目前仍在进行中。 依存关系： Python 3.4或更高版本 当前，可以在两个数据集上训练网络： 数据集 输入分辨率 类数 （简历） 768x576 11 （cs） 1024x512 19 要下载两个数据集，请单击上面提供的链接。 首先，通过训练脚本调整两个数据集的大小，如果需要，则可以使用--cachepath选项缓存此调整大小的数据。 对于CamVid数据集，首先将可用的视频数据分为训练/验证/测试集。 这是使用文件完成的。 包含有关分割CamVid数据集的详细信息。 这些东西会在训练网络之前自动运行。 以上两个数据集的LinkNet性能： 数据集 最佳IOU 最好的iIoU 城市风光 76.44 60.78 Cam
四个分割代码(包括unet,fpn,psp,linkenet,和用unet做回归)
04-17
Python代码,内涵五个网络,有安装教程(readme),网络权重.
linknet:链接
03-28
链接网 链接
语义分割模型LinkNet介绍
weixin_46415275的博客
11-30 1万+
语义分割模型LinkNet模型提出的背景网络结构实验结果结论GitHub代码链接 LinkNet是2017年CVPR上的一篇论文（论文地址：https://arxiv.org/abs/1707.03718）。由于网上的论文笔记以及讲解不是很清晰，因此决定下载论文自己阅读一下，若有理解错误的地方还请大家指正。 模型提出的背景 作者认为当时的模型主要都是集中在提高模型的精度上，而忽略了模型的效率。在实时语义分割上的研究工作不多。作者提出的LinkNet在提高速度的同时又保证了精度。 网络结构 网络的结构
【语义分割】LinkNet从0到1和代码实现
weixin_40293999的博客
05-04 1514
已经有了U-net了，为什么需要linkNet？unet见这个文章【语义分割】unet结构和代码实现:https://blog.csdn.net/weixin_40293999/article/details/129648032它引入了resNet，主打一个RealTime，实时系统，用于自动驾驶等需要快速返回结果的领域。unet适合医疗诊断等不那么实时的地方。它也借鉴了自编码器的结构。
基于深度学习的语义分割之FCN、SegNet、UNet、LinkNet、PSPNet、DeepLab系列
迷路的咸鱼的博客
09-04 8896
  图像分割（Image Segmentation）是计算机视觉研究中的一个经典难题，也是图像理解领域关注的一个热点。图像分割，简单来说就是在图像中把目标从背景中分离出来，分为语义分割（Semantic Segmentation）和实例分割（Instance Segmentation）。语义分割（应用于静态2D图像、视频，甚至3D数据、体数据）需要将视觉输入分为不同的语义可解释类别，语义的可解释性意为分类类别在真实世界中是有意义的，是像素级别的分类，主要应用领域有地理信息系统、无人驾驶、医疗影像分析、机器人
语义分割模型--LinkNet
你这个代码我看不懂的博客
03-23 4007
这篇文章的全名为 LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation 感兴趣的可以自行下载查看 （1）LinkNet介绍 LinkNet采用自编码器的思想，其架构分为两个部分：编码器和解码器。编码器将输入编码到低维空间，解码器从低维空间重建输入。 由一个初始块、一个最终块、一个带有四个卷积模块的编码器块以及一个带有四个解卷积模块的解码器块组成。 框架图如下，左边是编码器块，右边是解码器块 （2）反卷
【记录】图像语义分割网络，FCN-SegNet-Unet-Enet-LinkNet-DenseNet~~~~
整理输出各类知识
05-17 2840
文章目录1. FCN 1. FCN Paper：
NL-Linkenet以及D-Linknet网络模型以及权重
05-05
卫星道路图像分割，含有模型以及权重，不含数据集
一个基于libtorch（pytorch c ++）的c ++可训练语义分割库。-C/C++开发
05-27
一个基于libtorch（pytorch c ++）的c ++可训练语义分割库。 骨干网：ResNet，ResNext。 架构：到目前为止，FPN，U-Net，PAN，LinkNet，PSPNet，DeepLab-V3，DeepLab-V3 +。 英文| 基于LibTorch的带有神经网络的C ++...
2018 NIPS LinkNet: Relational Embedding for Scene Graph论文解读
sinat_35177634的博客
09-17 481
2018 NIPS LinkNet: Relational Embedding for Scene Graph论文解读
Linknet网络结构
DoctorJMK的博客
12-23 919
Linknet网络结构及如何实现
【图像分割】matlab实现语义割算法
G_redsky的博客
02-26 1283
FCN是一种流行的语义分割网络，它将传统的CNN架构修改为了全卷积网络，使得网络可以接受任意尺寸的输入图像。未来，随着新算法和硬件技术的不断涌现，语义分割模型有望在精度、速度和鲁棒性方面得到进一步的提升，同时也将在医疗影像分析、自动驾驶、智能城市建设等更多领域发挥重要作用。在MATLAB中实现语义分割，除了上述提到的FCN和UNet，还有其他几种流行的模型可以使用。请注意，上面的代码中使用的是DeepLabv3模型，该模型预训练于COCO数据集。您需要根据自己的需求选择合适的模型和预训练权重文件。
干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
热门推荐
蓝三金的博客
05-25 9万+
原文地址：https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，...
深度学习语义分割网络学习记录Unet、PSPNet、SegNet、DLinkNet
weixin_61235989的博客
02-28 2005
不断学习原理的菜狗冯，看了一些基础的网络，个人理解，仅供参考下期会总结一些修改的网络，学习一下修改网络的思路，或者会学习一下最新的网络结构和相关的修改网络。
LinkNet分割模型搭建
m0_56247038的博客
07-17 739
手撕LinkNet、D-LinkNet、NL-LinkNet网络结构！！！
利用神经网络学习语言（四）——深度循环神经网络
最新发布
LLM学堂
05-17 902
循环神经网络虽然能很好地进行自然语言处理。但是高效的代码实现是成功的关键，否则模型的训练效率太低，在实际中就没什么作用了。本文将讨论如何高效地实现深度循环神经网络

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Suyuoa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值