基于Tensorflow学习神经网络-FCN

最新推荐文章于 2024-05-03 04:35:26 发布
最新推荐文章于 2024-05-03 04:35:26 发布
阅读量8.3k 收藏 16
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z397164725/article/details/79037436
版权

6.CNN缺陷

  • 尺度一致

由于FC层参数限制，输入必须满足相同尺度，针对大尺度图像处理时，切割成相同size进行CNN会有很多重复运算，比如大图像语义分割。为避免重复运算出现了FCN（全卷积网络）。

  • 时序性

无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了题主所说的另一种神经网络结构——RNN（循环神经网络）。




7.FCN- Semantic Segmentation(全卷积网路)

https://www.leiphone.com/news/201705/YbRHBVIjhqVBP0X5.html

http://baijiahao.baidu.com/s?id=1572513028567873&wfr=spider&for=pc

http://blog.csdn.net/u012759136/article/details/59115476

http://blog.csdn.net/amor_tila/article/details/75635283

图像语义分割需要预测一幅图像中所有像素点的类别。CNN感知域比较大，提取特征比较抽象，对于分类而言很有帮助，但缺丢失物体的具体轮廓信息和像素信息，因此做到精确的分割就很有难度。全卷积网络(FCN)就是训练一个端到端、点对点的网络，从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类。


  • 与CNN区别

1、卷积化，把CNN最后的全连接层换成卷积层，使FCN可以接受任意尺寸的输入图像。

2、采用反卷积层对最后一个卷积层的featuremap进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。最后逐个像素计算softmax分类的损失,相当于每一个像素对应一个训练样本。输出的是一张已经Label好的图片。

  • 数据集

VOC2012

NYUDepth Dataset

SiftFlow Dataset

MSCOCO

  • 反卷积权重初始化

Bilinear

http://blog.csdn.net/jiongnima/article/details/78578876

以双线性插值权重进行反卷积网络的权重进行初始化。

  • 卷积化（全连接层=>卷积层）

卷积层和全连接层的区别：卷积层局部区域连接，共享参数，每一个W、b有自己的分布范围。

目的：让卷积网络在一张更大的输入图片上滑动，得到多个输出，这样的转化可以让我们在单个向前传播的过程中完成上述的操作。如下理解：

假设：原始输入图像224*224，经由5个步长=2的卷积层后输出【-1，7，7，256】，把它作为输入进入4096节点的全连接层；

全连接层：全连接层输入转化【-1，7*7*256】，取W=【7*7*256，4096】，输出【-1，4096】；

转化成卷积层：输入不变，取W=【7，7，256，4096】，s=1，pad=0，输出【-1，1，1，4096】。

即取卷积层尺度=输入图像尺度，步长=1，忽略边界，即可使输出与全连接层一致。

注意：就上面转化而言，当输入图像大小完全一致时（FC层输入7*7*256），仅得到一个评分，以上卷积化和全连接层完全一致。

扩大输入图像：假设输入图像384*384，如果用全链接层，需先以步长=32（5个步长=2的卷积，取整体切割步长2^5= 32）切割成6*6个224*224的图像依次输入，得到6*6个评分。

卷积化：显然如上操作卷积有大量重复运算，卷积化后可以一次输入完成以上以上操作，卷积化层输入【-1，12*12*256】，同样用卷积权重W=【7，7，256，4096】，卷积输出【-1，6，6，4096】。

注意：卷积化可扩展到CNN网络，对原图不同位置迭代计算，可卷积化单次传播以均值进行评价。

另如上输出是【6*6】评分，而我们想要的是对每个点的预测【384*384】，则还需上采样|反卷积|上池化。

以下介绍主要的FCN用于语义分割的网络：

  • FCN（2014.11）

    FullyConvolutional Networks for Semantic Segmentation

https://www.cnblogs.com/gujianhan/p/6030639.html

https://github.com/shelhamer/fcn.berkeleyvision.org代码

上采样（Upsampling）

http://blog.csdn.net/jiongnima/article/details/78549326

卷积过程中图像大小缩小（上述为32倍），我们需要得到的是原图每个点的评分，FCN通过上采样到原图的尺寸。

插值上采样：通过插值的方式还原原始图像，直接计算无需训练。

反卷积：即转置卷积，初始化权重后，训练优化权重。

一种理解来自https://www.zhihu.com/question/43609045/answer/120266511：

3*3权重矩阵W，排列成如下矩阵C【4，16】，如下：


按下图简单理解，卷积操作输入k张4*4的featuremap展开成列向量组成矩阵x【16，k】，，【4,1】，再转成2*2的图像。反卷积操作输入k张2*2的featuremap展开成列向量组成矩阵x【4，k】，，【16,1】，再转成4*4的featuremap。


另一种理解来自https://www.zhihu.com/question/63890195：反卷积操作就是把[W,H]大小的featuremapF_{W,H}扩大为F[n×W,n×H]。如何填充F的值？在扩大的F上每隔n个位置填补原F中对应位置的值，剩余的位置补0在进行卷积操作，即Deconv= 扩大+填0+conv。

虽然转置卷积层和卷积层一样，也是可以train参数的，但是实际实验过程中Fully_Convolutional_Networks作者发现，让转置卷积层可学习，并没有带来效果的提升，所以实验中的转置卷积层的学习率全部被置零了。反卷积参数初始化用的双线性插值（如下），相当于只做了插值。

#双线性初始化，caffe中的实现，于FCN中略有所差异

def_test_Bilinear(size):

""" 

    Make a 2D bilinear kernel suitable for upsampling of the given (h, w) size. 

    """

factor= (size+1)//2.;

center= (2 * factor - 1 - factor % 2) / (2. * factor);

og= np.ogrid[:size,:size]

bilinear= (1-abs(og[0]/factor-center))*(1-abs(og[1]/factor-center))

printbilinear

returnbilinear

直接将全卷积后的结果上采样后得到的结果通常是很粗糙的，所以结合较高层的结果进行优化。

跳跃结构(SkipArchitecture)

将不同池化层的结果进行上采样，然后融合（crop& wise）这些结果来优化输出，具体结构如下（据作者描述，融合至pool3时效果最好…）:





缺点

  • 池化操作增大了感受野，有助于实现分类网络，但是池化操作丢失部分信息，上采样操作也会产生粗糙的分割图，使得到的结果比较模糊和平滑，不够精细，对图像中的细节不敏感。

  • 对各个像素进行分类，没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整（spatialregularization）步骤，缺乏空间一致性。

  • 上采样参数初始化于双线性插值有所差别，也不训练，如何确定好坏？融合到哪一层？？

  • U-Net（2015.5）

ConvolutionalNetworks for Biomedical Image Segmentation（2015.5）

http://blog.csdn.net/hduxiejun/article/details/71107285


U-Net基于FCN，是一种针对医学图像的分割方法（二分类问题）。结构成U状。

与FCN的差别：去掉了全连接层（FCN是卷积化），反卷积网络（训练），融合思想与FCN一致（还原每一层结果都进行融合）；较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题。

可关注图像扭曲做样本增强。

输入（572*572）大于输出（388*388），对处理图像边缘（）做镜像操作，解决卷积过程中的像素丢失问题，如下图。






  • RefineNet(2016.11)

Multi-PathRefinement Networks for High-Resolution Semantic Segmentation

代码，原作基于matlab，该代码基于tensorflow修改，收敛不好但可工作

RefineNet类似与U-Net，也是一个编码-解码结构，编码用的ResNet，主要在于解码部分RefineNet。






RefineNet结构如下：



将不同分辨率的特征图卷积（可参考Resnet中的DBA结构）、多尺度融合（卷积使多尺度维度与最小特征图相同通道，再上采样到与最大图同一尺度，进行加权）、链式池化（不明白干嘛的）。

个人认为主要改进应该在于可将卷积视为加和的权重，可训练。

  • DeconvNet/SegNet(2015)

LearningDeconvolution Network for Semantic Segmentation（2015.5）

ADeep Convolutional Encoder-Decoder Architecture for ImageSegmentation (2015.11)

http://blog.csdn.net/fate_fjh/article/details/53467948

http://blog.csdn.net/zhangjunhit/article/details/72528610

http://blog.csdn.net/yang9649/article/details/74691192

DeconvNet/SegNet卷积部分与FCN一致，主要针对上采样部分进行改进。DeconvNet/SegNet这两个网络区别不大，细节上的改动。




DeconvNet


SegNet

上池化(upPooling)-两种网络相同

卷积层池化时记录最大池化返回值的位置，反卷积时将值先放回对应位置（其它位置填0），再进行上采样|反卷积操作。注：不再与高分辨率特征融合（与FCN主要差异）。




SegNet改进（+BN -FC+置信度）

  • SegNet在Relu前增加BN层

  • SegNet去掉了全连接层

  • 输出置信度

    DropOut层多次采样，用Mean作为输出Lable，方差为其置信度。


第一行为输入图像，第二行为groundtruth，第三行为BayesianSegNet语义分割输出，第四行为不确定灰度图

可以看出对于分类的边界和相互重叠位置，不确定性较大，即其置信度较低。

  • DilatedConvolutions(空洞卷积 2015.11)

Multi-ScaleContext Aggregation by Dilated Convolutions

池化操作能够减少计算量，同时也能防止计算结果过拟合，那么单纯取消池化操作又会使单层网络的感受域缩小。使用“疏松的卷积核”来处理卷积，可以达到在不增加计算量的情况下增加感受域，弥补不进行池化处理后的精度问题。该网络对FCN的卷积层做了改进，移除最后两个池化层，用空洞卷积取代了随后的卷积层。


红点表示卷积核的元素，绿色表示感受域，黑线框表示输入图像

该方法保留了较多的细节信息，对图像还原后的精度有明显的提升。

DilatedConvolution的最大价值是可以不改变featuremap的大小而增大感受野。而之前的FCN使用pooling下采样来增大感受野，但随后又不得不通过Deconvolution或者upsampling来增大featuremap大小，这样的一小一大总会损失很多信息。

  • DeepLab（V1:2014.12；V2：2016.6）

DeepLab:Semantic Image Segmentation with Deep Convolutional Nets, AtrousConvolution, and Fully Connected CRFs

使用了空洞卷积+编码器-解码器结构（RefineNet）+CRF

  • PSPNet（金字塔场景解析网络2016.12）

PyramidScene Parsing Network

http://blog.csdn.net/yxq5997/article/details/53695779?utm_source=itdadao&utm_medium=referral

http://blog.csdn.net/u011961856/article/details/77165427


主要改进：

  • 增加金字塔池化模块（PyramidPoolingModule），增加金字塔池化特征，个人理解用来与正常特征上采样后通过卷积融合，类似与RefineNet，卷积作为加和的权重，区别在于RefineNet逐层卷积加权，而PSPNet是全部特征upsample到相同尺度后一次卷积加权，且多使用了池化特征。

  • 增加辅助loss，个人理解类似与GooleNet中的辅助softmax，防止网络较深时梯度丢失问题，辅助训练优化学习过程。（不明白干嘛的？）


其它

  • 图片输入的CNN是ResNet，使用了dilatedconvolution

  • 上采样采用双线性插值

  • CRF于语义分割（深度学习+概率图模型（GPM））

深度学习+概率图模型（GPM）是一种趋势。DL进行特征提取，GPM能够从数学理论很好的解释事物本质间的联系。

CRFasRNN（2016.3）将DenseCRF（全连接条件随机场）真正结合进了FCN中，将其描述成一层类似卷积的计算，这样即可结合进神经网络中，并且前后向传播也不存在问题。作者还将它进行了迭代，不同次数的迭代得到的结果优化程度也不同（一般取10以内的迭代次数），二元势函数的输入来自于一元以及迭代，而且这里的二元势函数被强制考虑为局部平滑度。即CRFas RNN。

DeepParsing Network中使用的是MRF，平均场构造成了CNN联合训练并且可以one-passinference，而不用迭代。

高斯条件随机场（G-CRF）使用CNN分别来学习一元势函数和二元势函数。



东西北
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 - TensorFlow2.0全卷积网络FCN语义分割
学以致用 知行合一
06-19 802
使用ps创建了一个7 * 4的小图片，保存为png格式 PNG文件格式详解 https://www.cnblogs.com/senior-engineer/p/9548347.html 行程编码压缩算法 https://blog.csdn.net/wutong_xingkong/article/details/50374684
tensorflow实现FCN_源代码
05-08
tensorflow实现FCN_源代码，可以在自己的电脑上跑程序
tensorflow实现FCN
01-15
很经典的一个网络，像素级的图片分类网络，使用该代码还需要安装python，tensorflow，还要实现GPU加速
使用 TensorFlow 和 Keras 构建 U-Net
最新发布
安静的软件工程师
05-03 1532
使用 TensorFlow 和 Keras 构建 U-Net
使用深度学习实现简单语义分割（FCN）
热门推荐
蓝三金的博客
05-29 1万+
原文地址：https://medium.com/nanonets/how-to-do-image-segmentation-using-deep-learning-c673cc5862ef 语义分割是计算机视觉领域的一个关键问题，观察上图可以发现语义分割是实现完全场景理解的高层次任务之一。场景理解作为核心计算机视觉问题，其重要性在于越来越多的应用需要利用图像进行理解推断，包括自动驾驶、人机交...
[深度学习] FCN在TensorFlow上的实现
小黑_BUPT的博客
08-12 1万+
参考 https://blog.csdn.net/MOU_IT/article/details/81073149 ，代码来自 https://github.com/shekkizh/FCN.tensorflow ，自己开始一点点做 数据 The model was applied on the Scene Parsing Challenge dataset provided by MIT htt...
基于FCN.tensorflow的实践
MAGICYANG的专栏
07-24 2668
简介 先上GITHUB的地址： https://github.com/shekkizh/FCN.tensorflow Tensorflow implementation of Fully Convolutional Networks for Semantic Segmentation (FCNs). FCN是图像语义分割的经典实现，结合开源的源码来看一下具体的实践。 网络 FCN的...
tensorflow实现FCN完成训练自己标注的数据
向阳的博客
11-04 1万+
一、先复现FCN 环境：Ubuntu18.04+tensorflow（我的） 1.下载代码： 论文地址：https://arxiv.org/pdf/1605.06211v1.pdf 　　论文视频地址：http://techtalks.tv/talks/fully-convolutional-networks-for-semantic-segmentation/61606/ ...
Tensorflow实现图像分割——FCN模型
qq_37274615的博客
10-13 1万+
转载自：http://blog.csdn.net/scutjy2015/article/details/70230379 导读：本项目是基于论文《语义分割全卷积网络的Tensorflow实现》的基础上实现的，该实现主要是基于论文作者给的参考代码。该模型应用于麻省理工学院（http://sceneparsing.csail.mit.edu/）提供的场景识别挑战数据集。 　项目所需
py-R-FCN的ResNet50和ResNet101预训练模型
02-21
ResNet，全称为残差网络，是由Microsoft Research Asia团队提出的一种深度神经网络架构。其核心创新在于引入了残差块，解决了深度网络训练过程中遇到的梯度消失或爆炸问题。ResNet-50和ResNet-101是ResNet的不同版本...
颜色分类leetcode-image-segmentation-fcn:在TensorFlow中使用全卷积神经网络进行语义图像分割
07-06
使用全卷积神经网络的语义图像分割 概述 该存储库中的程序训练并使用完全卷积神经网络来获取图像并对其像素进行分类。 该网络使用 Jonathan Long 等人描述的方法基于 VGG-16 模型进行转移训练。 该软件是通用的，...
基于全卷积神经网络的灌区无人机正射影像渠系提取.pdf
09-25
1. 全卷积神经网络（Fully Convolutional Networks，FCN）：一种基于深度学习的图像分割算法，使用卷积神经网络实现图像分割。 2. 灌区渠系提取：指的是从灌区影像中提取渠系轮廓的过程。 3. 无人机正射影像：使用...
TensorFlow MNIST官方例子-tf1.1(包括数据包)
06-28
本篇将详细介绍基于TensorFlow 1.1版本的MNIST官方示例，这个示例是用于手写数字识别的经典问题，非常适合初学者了解神经网络和TensorFlow的基础用法。 首先，MNIST数据集是一个广泛使用的手写数字数据库，由LeCun...
tensorflow2.0入门实例四（FCN模型建立）
weixin_43162240的博客
10-21 1万+
做东西，最重要的就是动手了，所以这篇文章主要教大家动手跑了一个fcn32s和fcn8s的例子，这个例子的数据集选用自动驾驶相关竞赛的kitti数据集。这篇文章适合入门级选手，在文章中不再讲述fcn的结构，直接百度就可以搜到。 文章使用的是tensorflow2.0框架，该框架集成了keras，在模型的训练方面极其简洁，不像tf1.x那么复杂，综合其他深度学习框架，发现这个是最适合新手使用的一种。 ...
深度学习与TensorFlow：FCN论文学习笔记
leadai的博客
07-04 545
七月 上海 | 高性能计算之GPU CUDA培训7月27-29日三天密集式学习  快速带你入门阅读全文>正文共1708个字，5张图，预计阅读时间8分钟。这篇文章陆陆...
Resnet tensorflow代码分析
q199502092010的博客
04-09 2105
resnet 论文：https://arxiv.org/pdf/1512.03385.pdf 翻译转载：https://blog.csdn.net/Quincuntial/article/details/77263562 这几天看了tensorflow搭建的resnet模型，十分的干净利落。将结合代码的分析记录，以防遗忘。 ...
【论文笔记】提高超高分辨率图像的语义分割准确性的两种方法：MagNet（CVPR2021）与FCtL（ICCV2021）
m0_61899108的博客
10-26 4967
对于分辨率超过2000*2000的超高分辨率大图，直接将其输入到模型中进行训练以及测试会导致显存爆炸，是不现实的。即，将大图下采样到分辨率比较小，比如512*512的小图，再送入模型中进行训练。测试的时候，再将模型预测结果上采样到大图分辨率大小。即，将大图通过滑动窗口裁剪成很多个小的，比如512*512的patch。再送入模型中进行训练。测试的时候，将模型预测的小图的结果再merge成一张大图。但是，以上的两种方式都存在各自的缺点。
FCN实现语义分割-Pytorch（三）
sunxiaojun
04-17 3855
##3.4、验证（Validation） 当我们在训练集上指标表现良好时，需要使用验证集来检验一下训练的结果是否存在过拟合现象。 ###3.4.1、模型与参数的保存 模型的训练可能是一个漫长的过程，在模型训练过程中，以及模型训练完成准备发布时，我们需要保存模型或模型参数，以便在此基础上继续训练，或者把训练好的模型发布上线。 # 保存模型 torch.save(net, './fcn8s.pth') # 保存模型参数 torch.save(net.state_dict(), './fcn8s.pth') #
FCN学习心得
jzz3933的博客
03-11 485
一、基于tensorflow的FCN 最近在学习全卷积网络FCN，运行下面链接写的基于tensorflow的FCNhttps://github.com/tensorflow/tensorflow/issues/6698，一直报错 Check failed: stream->parent()->GetConvolveAlgorithms( conv_parameters.Should...
深度学习图像分割：全面开源代码资源集合
U-Net网络是2015年由Olaf Ronneberger等人提出的一种卷积神经网络（CNN）架构，特别适合于图像分割任务，尤其是医学图像分析。它的特点是采用了对称的编码器-解码器结构，允许网络在捕获全局上下文信息的同时，保持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值