FCN学习笔记

已于 2022-11-06 19:37:43 修改
阅读量658 收藏 1
点赞数
分类专栏： 摆烂生活 文章标签： FCN
于 2022-11-06 19:05:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/passer__/article/details/127716302
版权

FCN

简介

论文地址:https://arxiv.org/abs/1411.4038
发表于:CVPR 2015

背景

语义分割(Semantic Segmentation)的目的是对图像中每一个像素点进行分类，与普通的分类任务只输出某个类别不同，语义分割任务输出是与输入图像大小相同的图像，输出图像的每个像素对应了输入图像每个像素的类别。
比如下图:
在这里插入图片描述
图像语义分割的意思就是机器自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成右侧图，红色标注为人，绿色是车，黑色表示背景。

传统使用CNN在做语义分割存在的问题:

  1. 存储开销大
  2. 计算量大
  3. 限制感受野大小

先总结一下FCN
主要成就：端到端、像素到像素训练方式下的卷积神经网络超过了现有语义分割方向最先进的技术.

核心思想：搭建了一个全卷积网络，输入任意尺寸的图像，经过有效推理和学习得到相同尺寸的输出.

主要方法：将当前分类网络(ALexNet、VGGNet和GoogleNet)改编成全卷积网络，并进行微调；设计了跳跃连接结构，将全局信息和局部信息连接起来

作者将其全连接层均替换为卷积层，输出空间映射而不是分类分数。这些映射由小步幅卷积上采样（又称转置卷积）得到，来产生密集的像素级别的标签。该工作被视为里程碑式的进步，因为它阐释了CNN如何可以在语义分割问题上被端对端的训练，而且高效的学习了如何基于任意大小的输入来为语义分割问题产生像素级别的标签预测。本方法在标准数据集如PASCAL VOC分割准确率上相对于传统方法取得了极大的进步，且同样高效。由于上述及更多显著的贡献，FCN成为了深度学习技术应用于语义分割问题的基石。

FCN结构

在这里插入图片描述
作者对比了VGG16、AlexNet和GoogleNet都将他们的全连接层换成了卷积层，然后进行效果对比发现VGG16得到的效果的是最好的。
在这里插入图片描述

FCN的创新点

全连接层替换成卷成层

论文作者认为全连接层让目标的位置信息消失了，只保留了语义信息，因此将全连接操作更换为卷积操作可以同时保留位置信息及语义信息，达到给每个像素分类的目的。

FCN用卷积层替换掉原来的全连接层，不再限制输入的大小，对于上采样过程是采用双线性插值初始化的转置卷积。

CNN和FCN进行对比:
CNN最后使用全连接层，将二维压缩成一维，丢失了空间信息，只能预测出来一张图的概率，而不能对于图中的物体进行具体的预测分割
FCN输出的是热图，是每个像素点对应的相关类型的概率。

双线性差值

推荐参考博客:https://blog.csdn.net/qq_37541097/article/details/112564822
以下是将上述博客做了一个简短的总结。
在这里插入图片描述

转置卷积

推荐博客参考:https://blog.csdn.net/tsyccnh/article/details/87357447
暂时留坑

跳跃连接

推荐视频:https://www.bilibili.com/video/BV1J3411C7zd/?spm_id_from=333.999.0.0
论文作者给了这个图可能不太好理解它的直接意思，下边借用B站作者的一些图
在这里插入图片描述
在这里插入图片描述
对于FCN-32S就是按照论文卷积池化的操作不断的将图片缩小，最后缩小为原图像的1/32，最后通过转置卷积直接将图像直接扩大为输入图片的尺寸的大小。
在这里插入图片描述
在这里插入图片描述
同理可以得到对于其他不同的上采样的情况，作者也尝试将更加前边的网络上采样相加，得到的结果并不理想甚至会下降，而且参数还会增加。

实验结果

结果图比较

passer__
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FCN的学习及理解（Fully Convolutional Networks for Semantic Segmentation）
凹酱的DEEP LEARNING
05-23 29万+
论文Fully Convolutional Networks for Semantic Segmentation 是图像分割的milestone论文。理清一下我学习过程中关注的重点。fcn开源代码github下载地址https://github.com/shelhamer/fcn.berkeleyvision.org核心思想该论文包含了当下CNN的三个思潮- 不含全连接层(fc)的全卷积(fu...
深度学习——全卷积神经网络FCN（笔记）
jbkjhji的博客
12-27 821
CNN模型最后两层：全连接层（label语义信息）和全局平均池化层(全连接层将224*224的图片变成7*7，全局平均池化把7*7变成平均1*1)，图片分类没问题。将特征图的高和宽变换为输入图像同样的尺寸，输出通道包含空间位置像素的类别预测。③使用1*1卷积层将输出通道转换为数据集的类数（21类），转置卷积将要素图的高宽增加32。②后面的全连接层和平均池化层不需要，创建一个全卷积网络net,缩小32。②在全连接卷积网络，可以将转置卷积层初始化为。Ⅰ通过1*1卷积层将通道数变换为类别个数。
【语义分割专题】语义分割相关工作--FCN网络介绍
Mind_programmonkey的博客
10-19 742
Fully Convolutional Networks for Semantic Segmentation 将当前分类网络（AlexNet，VGGNet和GoogleNet）修改为全卷积网络，通过对分割任务进行微调，将它们学习的表征转移到网络中。然后，定义了一种新的架构，将深度、粗糙的网络层的语义信息和浅的、精细的网络层的表征信息结合起来，来生成精确和详细的分割。即在上采样的每一个阶段通过融合（简单的相加）下采样阶段网络中的底层的更加粗糙但是分辨率更高的特征图进一步细化特征。 https://arxiv.
FCN 笔记
测试
03-06 208
2019 March 06 fcn, upsampling, skip-architecture FCN 笔记 关键点 全卷积 不含全连接层，可适应任意尺寸输入 上采样 转置卷积：卷积在神经网络结构的正向和反向传播中做相反的运算 转置卷积权值：双线性插值，学习率置 0（不学习） 跳跃结构 特征融合时，逐点相加 crop_layer：配合 deconvolution 层使用，为...
全卷积（FCN）论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation
热门推荐
Fantasy_Fly的博客
09-23 4万+
论文阅读笔记：Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文。 论文下载地址：Fully Convolutional Networks forSemantic Segmentation 尊重原创，转载请注明：http://blog.csdn.net/tangwei2014
FCN论文笔记.docx
02-02
讲解FCN论文，希望能够对大家有帮助。如果有错误，大家可以随时联系我。我一定虚心改正，希望能够和大家一起努力学习知识。
深度学习网络的发展以及FCN网络的介绍_AlexNet%26FCN.pptx
04-21
深度学习网络的发展以及FCN网络的介绍
fcn.rar_fcn
07-14
voici un programme qui fait le traitement par image d un pendule inversé position et pendule
FCN.rar_fcn
09-20
Communication system with networks
解决FCN build error MITSceneParsing.pickle
03-07
参考：https://blog.csdn.net/Sousky/article/details/88298059
全卷积网络FCN进行图像分割
10-22 8689
背景CNN能够对图片进行分类，可是怎么样才能识别图片中特定部分的物体，在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑，于是无穷无尽的人往坑里面跳。全卷积网络 Fully Convolutional NetworksCNN 与 FCN通
深度学习论文笔记（六）--- FCN-2015年（Fully Convolutional Networks for Semantic Segmentation）
朝花&夕拾
07-23 2562
深度学习论文笔记（六）--- FCN 全连接网络 FullyConvolutional Networks for Semantic Segmentation Author：J Long ， E Shelhamer， T Darrell Year： 2015 1、 导引 通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成
FCN笔记（Fully Convolutional Networks for Semantic Segmentation）
weixin_34050389的博客
04-25 107
FCN笔记（Fully Convolutional Networks for Semantic Segmentation） （1）FCN做的主要操作 (a)将之前分类网络的全连接层都换成卷积层； ...
【论文笔记】FCN：Fully Convolutional Networks for Semantic Segmentation
学习 & 分享 ~
06-25 9349
《Fully Convolutional Networks for Semantic Segmentation》，CVPR 2015论文核心思想： 建立全卷积网络，使其可以输入任意大小的图片，并输出一个与原图像大小相同的像素级分类结果，即 dense prediction。论文所采用的经典分类网络：将这三种网络改造成全卷积网络，将它们学习的特征表示经过 fine-tuning 转换到分割任务上来。【论文中提到，经过改造后，达到最高分类精度的是 VGG-16】论文所采用的数据集：什么是 spatially d
FCN论文笔记
none的博客
09-09 1228
一．Introduction 全卷积网络（FCN）是用于图片语义分割的一种卷积神经网络（CNN），由Jonathan Long，Evan Shelhamer 和Trevor Darrell提出，由此开启了深度学习在语义分割中的应用。语义分割是计算机视觉领域很重要的一个分支，在自动驾驶、地面检测等方面都起到很重要作用。与简单区分前景后景的图像分割技术不同，语义分割则不仅是区分每个像素...
R-FCN阅读笔记
Counting_Stars的博客
03-15 330
R-FCN: Object Detection via Region-based Fully Convolutional Network原文： R-FCN： https://arxiv.org/abs/1605.06409 Github链接： https://github.com/daijifeng001/r-fcn(https://github.com/daijifeng001/r-fcn) ...
RCNN学习笔记(8)：Fully Convolutional Networks for Semantic Segmentation(全卷积网络FCN）
Focusing on your own Mind :) －> 站在巨人的肩膀上
04-26 1万+
论文阅读笔记：Fully Convolutional Networks forSemantic Segmentation 这是CVPR 2015拿到best paper候选的论文。 论文下载地址：Fully Convolutional Networks forSemantic Segmentation
论文笔记《Fully Convolutional Networks for Semantic Segmentation》
July's Pensieve
08-02 2万+
《Fully Convolutional Networks for Semantic Segmentation》，CVPR 2015 best paper，pixel level， fully supervised。 主要思路是把CNN改为FCN，输入一幅图像后直接在输出端得到dense prediction，也就是每个像素所属的class，从而得到一个end-to-end的方法来实现ima
FCN网络学习笔记
记录
11-03 647
FCN网络是首个端对端的针对像素级预测的全卷积网络。
FCN pytorch
最新发布
09-07
你好！关于FCN（Fully Convolutional Network），它是一种用于图像语义分割的深度学习架构。PyTorch是一个流行的深度学习框架，可以很方便地实现和训练FCN模型。 在PyTorch中，你可以使用torchvision包来加载预训练的FCN模型，也可以自定义自己的FCN模型。下面是一个简单的示例代码，展示了如何使用PyTorch实现FCN： ```python import torch import torch.nn as nn import torchvision.models as models # 加载预训练的FCN模型 fcn_model = models.segmentation.fcn_resnet50(pretrained=True) # 自定义FCN模型 class FCN(nn.Module): def __init__(self, num_classes): super(FCN, self).__init__() self.backbone = models.resnet50(pretrained=True) self.conv1 = nn.Conv2d(2048, num_classes, kernel_size=1) def forward(self, x): x = self.backbone(x) x = self.conv1(x['out']) return x # 创建自定义的FCN模型 fcn_custom_model = FCN(num_classes=10) # 运行模型 input_tensor = torch.randn(1, 3, 224, 224) output = fcn_custom_model(input_tensor) ``` 在示例代码中，我们使用了`torchvision.models`中的`fcn_resnet50`模型作为预训练的FCN模型，并使用`torchvision.models`中的`resnet50`模型作为自定义的FCN模型的骨干网络。你可以根据你的任务需求和数据集结构来自定义FCN模型。 希望以上信息能对你有所帮助！如果你有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值