Keras 实现 FCN 语义分割并训练自己的数据之 FCN-16s、FCN-8s

已于 2023-09-01 09:49:07 修改
阅读量4k 收藏 33
点赞数 4
分类专栏： Keras # Fully Convolutional Networks 文章标签： 语义分割 FCN Keras 深度学习
于 2020-03-12 17:24:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yx123919804/article/details/104811087
版权

Keras 实现 FCN 语义分割并训练自己的数据之 FCN-16s、FCN-8s

在 Keras 实现 FCN 语义分割并训练自己的数据之 FCN-32s 中已经实现了最简单的 FCN 语义分割, 但是分割效果很不理想, 所以接下来按论文讲的方式提升分割效果

一. 转置卷积

在 Keras 实现 FCN 语义分割并训练自己的数据之 FCN-32s 中恢复原图尺寸的方法简单粗暴, 用不需要学习的 32 倍插值方式上采样, 插值方式是 nearest, UpSampling2D 默认就是 nearest. 这个方式效果很不理想. 但是如果把插值方式改成 bilinear, 效果马上就好了很多了

model.add(keras.layers.UpSampling2D(size = (32, 32), interpolation = "bilinear",
                                    name = "upsamping_6"))

nearest 效果
nearest
bilinear 方式
bilinear
论文中提到了转置卷积, 转置卷积是需要学习参数的, 所以效果应该会比插值方式来得好, 马上验证一下, 把前面的 UpSampling2D 换成转置卷积

# model.add(keras.layers.UpSampling2D(size = (32, 32), interpolation = "bilinear",
#                                    name = "upsamping_6"))

model.add(keras.layers.Conv2DTranspose(filters = 512,
                                       kernel_size = (3, 3),
                                       strides = (32, 32),
                                       padding = "same",
                                       kernel_initializer = "he_uniform",
                                       name = "Conv2DTranspose_6"))

transposed convolution
可以看到, 效果更不咋的, 应该是参数不适合. 你试着改一下参数看看. 最后上采样我们还是用 bilinear 插值, 前面的浅层上采样的时候用转置卷积

二. FCN-16s

之所以 FCN-32s 的分割效果不佳, 主要是多次卷积丢失了原图的细节, 所以要把前面浅层的卷积信息利用起来, 就是所谓的 Skip Architecture(跳跃结构), 要用到 Skip Architechture 就要改一下网络的实现方式. 因为要用到中间层, 所以模型修改如下(函数式)

# 定义模型
project_name = "fcn_segment"

channels = 3
std_shape = (320, 320, channels) # 输入尺寸, std_shape[0]: img_rows, std_shape[1]: img_cols

img_input = keras.layers.Input(shape = std_shape, name = "input")

conv_1 = keras.layers.Conv2D(32, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_1")(img_input)
max_pool_1 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_1")(conv_1)

conv_2 = keras.layers.Conv2D(64, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_2")(max_pool_1)
max_pool_2 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_2")(conv_2)

conv_3 = keras.layers.Conv2D(128, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_3")(max_pool_2)
max_pool_3 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_3")(conv_3)

conv_4 = keras.layers.Conv2D(256, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_4")(max_pool_3)
max_pool_4 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_4")(conv_4)

conv_5 = keras.layers.Conv2D(512, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_5")(max_pool_4)
max_pool_5 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_5")(conv_5)

用上面的方式, 我们可以很方便的使用中间过程的每一次输出, 接下来, 把 max_pool_5 利用 转置卷积 上采样 2 倍, 得到与 max_pool_4 相同的尺寸, 再把两个相加就是 16s 了

# max_pool_5 转置卷积上采样 2 倍至 max_pool_4 一样大
up6 = keras.layers.Conv2DTranspose(256, kernel_size = (3, 3),
                                   strides = (2, 2),
                                   padding = "same",
                                   kernel_initializer = "he_normal",
                                   name = "upsamping_6")(max_pool_5)
                
_16s = keras.layers.add([max_pool_4, up6])

# _16s 上采样 16 倍后与输入尺寸相同
up7 = keras.layers.UpSampling2D(size = (16, 16), interpolation = "bilinear",
                                name = "upsamping_7")(_16s)

# 这里 kernel 也是 3 * 3, 也可以同 FCN-32s 那样修改的
conv_7 = keras.layers.Conv2D(1, kernel_size = (3, 3), activation = "sigmoid",
                             padding = "same", name = "conv_7")(up7)

最后从输入到输出组合

model = keras.Model(img_input, conv_7, name = project_name)

model.summary()

这样, 16s 就完成了, 训练和预测和 Keras 实现 FCN 语义分割并训练自己的数据之 FCN-32s 一样, 最后预测效果明显好了很多
16s

三. FCN-8s

8s 和 16s 差异的地方是 8s 还要结合 max_pool_3, 代码如下

project_name = "fcn_segment"

channels = 3
std_shape = (320, 320, channels) # 输入尺寸, std_shape[0]: img_rows, std_shape[1]: img_cols

img_input = keras.layers.Input(shape = std_shape, name = "input")

conv_1 = keras.layers.Conv2D(32, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_1")(img_input)
max_pool_1 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_1")(conv_1)

conv_2 = keras.layers.Conv2D(64, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_2")(max_pool_1)
max_pool_2 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_2")(conv_2)

conv_3 = keras.layers.Conv2D(128, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_3")(max_pool_2)
max_pool_3 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_3")(conv_3)

conv_4 = keras.layers.Conv2D(256, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_4")(max_pool_3)
max_pool_4 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_4")(conv_4)

conv_5 = keras.layers.Conv2D(512, kernel_size = (3, 3), activation = "relu",
                             padding = "same", name = "conv_5")(max_pool_4)
max_pool_5 = keras.layers.MaxPool2D(pool_size = (2, 2), strides = (2, 2),
                                    name = "max_pool_5")(conv_5)

# max_pool_5 转置卷积上采样 2 倍和 max_pool_4 一样大
up6 = keras.layers.Conv2DTranspose(256, kernel_size = (3, 3),
                                   strides = (2, 2),
                                   padding = "same",
                                   kernel_initializer = "he_normal",
                                   name = "upsamping_6")(max_pool_5)
                
_16s = keras.layers.add([max_pool_4, up6])

# _16s 转置卷积上采样 2 倍和 max_pool_3 一样大
up_16s = keras.layers.Conv2DTranspose(128, kernel_size = (3, 3),
                                      strides = (2, 2),
                                      padding = "same",
                                      kernel_initializer = "he_normal",
                                      name = "Conv2DTranspose_16s")(_16s)
                                  
_8s = keras.layers.add([max_pool_3, up_16s])

# _8s 上采样 8 倍后与输入尺寸相同
up7 = keras.layers.UpSampling2D(size = (8, 8), interpolation = "bilinear",
                                name = "upsamping_7")(_8s)

# 这里 kernel 也是 3 * 3, 也可以同 FCN-32s 那样修改的
conv_7 = keras.layers.Conv2D(1, kernel_size = (3, 3), activation = "sigmoid",
                             padding = "same", name = "conv_7")(up7)

model = keras.Model(img_input, conv_7, name = project_name)

model.summary()

最后预测如下, 还是没有二值化, 其实二值化之后和 ground_truth 基本一致了
8s

四. 总结

FCN 语义分割就这样完成了, 网络结构不一定要和论文一模一样, 依据任务的特点来决定, 只要掌握了其原理(卷积学习目标特征再依据特征从小分辨率图像还原到原图像, Encoder-Decoder), 怎么变换都可以. 其他网络不也是从 FCN 变化而来的吗? 你可以试着改变网络结构来训练看一下有没有效果的提升

五. 代码下载

完整的代码可下载 Jupyter Notebook 代码示例

上一篇: Keras 实现 FCN 语义分割并训练自己的数据之 FCN-32s
下一篇: Keras 实现 FCN 语义分割并训练自己的数据之 多分类

Mr-MegRob
关注
专栏目录
机器学习笔记 - Pascal VOC数据集使用FCN语义分割
学以致用 知行合一
08-15 1003
1、准备数据集 http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar 下载完成，解压到如下结构 VOC
机器学习笔记 - TensorFlow2.0全卷积网络FCN语义分割
学以致用 知行合一
06-19 828
使用ps创建了一个7 * 4的小图片，保存为png格式 PNG文件格式详解 https://www.cnblogs.com/senior-engineer/p/9548347.html 行程编码压缩算法 https://blog.csdn.net/wutong_xingkong/article/details/50374684
FCN训练自己的数据集
weixin_39145266的博客
03-10 3213
参考自用FCN训练自己数据集，在此记录调试代码的过程，仅供参考。 1代码修改 这部分是记录我对原代码修改的过程。 原代码中read_MITSceneParsingData.py中read_dataset（）函数需要进行修改，否则会报错“module 'TensorflowUtils' has no attribute 'maybe_downl...
FCN训练自己的数据集及测试
热门推荐
Darlewo
04-29 2万+
1 默认caffe已配置好，直接下载FCN网络模型 https://github.com/shelhamer/fcn.berkeleyvision.org 将模型文件放到caffe-master路径下2 打开其中一个文件夹voc-fcn8s3 放置好模型，现在就是配置相关路径caffemodel-url中是训练之前预加载的权值模型的下载地址，打开这个文件，并下载这个模型 deploy.prot
使用FCN训练自己的数据集
weixin_33704234的博客
06-28 725
2019独角兽企业重金招聘Python工程师标准>>> ...
【精!!!!】用FCN训练自己数据集（Tensorflow)
路上的病人博客
12-19 1万+
用FCN训练自己数据集
Keras 实现语义分割 FCN-16s、FCN-8s
08-15
利用 Keras 在 Jupyter notebook 中实现语义分割模型 FCN-16s, FCN-8s, 可训练自己的数据集. 具体可参考 https://blog.csdn.net/yx123919804/article/details/104811087
使用Keras+TensorFlow+FCN分割VOC数据集-python源码.zip
最新发布
05-02
7. **FCN的变种**: FCN-32s、FCN-16s和FCN-8s是FCN的三种常见变体，它们通过不同级别的上采样实现不同精度和速度的平衡。源码可能包含了这些变种之一或其改进版本。 通过这个项目，你不仅可以了解和实践深度学习中...
惊人的语义分段：在Tensorflow和＆Keras上进行惊人的语义分段（包括FCN，UNet，SegNet，PSPNet，PAN，RefineNet，DeepLabV3，DeepLabV3 +，DenseASPP，BiSegNet）
02-06
FCN-8s / 16s / 32s- UNet- SegNet- 贝叶斯SegNet- PSPNet- RefineNet- PAN- DeepLabV3- DeepLabV3Plus- DenseASPP- BiSegNet- 基本型号 该项目支持以下这些主干模型，您可以根据需要选择合适的基本模型。
训练自己的数据集
04-10
本代码主要用于自己数据制作VOC2007数据集格式，用以进行目标检测网络的训练，如faster r-cnn等一类的目标检测网络
Python-Keras实现实时语义分割的深层神经网络架构ENET
08-11
Keras实现实时语义分割的深层神经网络架构ENET
（真）FCN（Tensorflow）：训练自己的数据集
weixin_43390800的博客
11-18 2705
一.下载源码 使用原版代码：https://github.com/shekkizh/FCN.tensorflow 二.下载网络和数据 1.下载VGG网络的权重参数，下载好后的文件路径为./Model_zoo/imagenet-vgg-verydeep-19.mat. 网址：http://www.vlfeat.org/matconvnet/models/beta16/imagenet-vgg-ver...
全卷积神经网络(FCN)的keras实现
weixin_42834786的博客
11-11 4479
全卷积神经网络(FCN)的keras实现 前言 前一阵子写了一篇图像分割的综述，学习了包括图像预处理 、阈值图像分割、神经网络图像语义分割等一些知识，通过matlab和python进行了实现，不过一直没有时间进行分享，现在手头忙的事情基本完成，先拿我最喜欢的FCN进行一下分享。FCN可以算是语义分割方向的开山之作了,也是我入坑语义 学习的第一个网络了,最开始用tenserflow写起来费劲的要死,后来改用keras很快就写好了,所以拿来分享一下,希望以后学习的同学少走些弯路。 全卷积神经网络理论知识
FCN训练自己数据集（person-segmentation）、SIFT-FLOW、SBD和VOC实验总结
weixin_42717395的博客
12-30 2865
最近花了将近一周的时间，基于提供的源码，通过参考网上的博客，跑通了FCN在三个数据集上的训练以及测试。在这里写下总结，即是记录，又希望能够对其他刚刚接触FCN的人有所帮助。 欢迎加群：1012878218，一起学习、交流强化学习，里面会有关于深度学习、机器学习、强化学习的各种资料 。 FCN的源码地址：https://github.com/shelhamer/fcn.berkeleyvi...
Ubuntu下FCN训练预测自己的数据集
jiugeshao的专栏
10-07 317
1.labelme的安装，直接使用如下命令即可安装 pip install labelme 2.由于用的是虚拟机，装的是tensorflow cpu版，版本可见我之前的博客语义分割之FCN训练预测自己的数据集_jiugeshao的专栏-CSDN博客 如果需要安装cuda和cuddn（非虚拟机环境下），可参见如下链接： ubuntu18.04 安装CUDA11.0+cuDNN8.0.5+TensorFlow2.4.0_白羊007的博客-CSDN博客 Vmware 中 Ubuntu 20.04.
语义分割FCN网络训练自己的数据集_未完待续
cumtchw
04-13 327
参考文献：https://www.jianshu.com/p/29604b12f776
语义分割之FCN训练预测自己的数据集
jiugeshao的专栏
02-17 4309
之前博客https://blog.csdn.net/jiugeshao/article/details/112093981中提到，接下来主精力还是先放在深度学习分类，检测，分割算法上面。之前虽然也对各算法做过了解，但没有一一用代码实现过，博主想花一段时间把这些算法大概实现下。 就从FCN开始吧，博主当前电脑的环境配置也大概说下： Anaconda3的python环境 tensorflow2.3.1 cuda10.1 cudnn7.6 具体可参见我的博客https://blog.csdn.ne
用FCN训练自己的数据集问题汇总
stevenreally6的博客
11-30 3240
参考博客：https://blog.csdn.net/qq_40994943/article/details/85041493 前言： 数据集处理过程就不做详细阐述，按照链接里步骤一步一步来就可以了。用来制作数据的几个脚本都在FCN-tensorflow-hzp-master\FCN-tensorflow-hzp-master\Data_produce\这个文件夹下面。 训练过程和代码讲解，这个博主也分别在两篇博客里详细地讲了，我主要分享下自己碰到的问题以及解决方法，最终让代码跑起来。（因为方便，我是在an
使用paddle写出一个用于语义分割的FCN16s模型
05-19
好的，以下是使用PaddlePaddle实现的FCN16s模型： ```python import paddle import paddle.nn as nn class FCN16s(nn.Layer): def __init__(self, num_classes=21): super(FCN16s, self).__init__() # 第一段 self.conv1_1 = nn.Conv2D(in_channels=3, out_channels=64, kernel_size=3, padding=100) self.relu1_1 = nn.ReLU() self.conv1_2 = nn.Conv2D(in_channels=64, out_channels=64, kernel_size=3, padding=1) self.relu1_2 = nn.ReLU() self.pool1 = nn.MaxPool2D(kernel_size=2, stride=2, ceil_mode=True) # 第二段 self.conv2_1 = nn.Conv2D(in_channels=64, out_channels=128, kernel_size=3, padding=1) self.relu2_1 = nn.ReLU() self.conv2_2 = nn.Conv2D(in_channels=128, out_channels=128, kernel_size=3, padding=1) self.relu2_2 = nn.ReLU() self.pool2 = nn.MaxPool2D(kernel_size=2, stride=2, ceil_mode=True) # 第三段 self.conv3_1 = nn.Conv2D(in_channels=128, out_channels=256, kernel_size=3, padding=1) self.relu3_1 = nn.ReLU() self.conv3_2 = nn.Conv2D(in_channels=256, out_channels=256, kernel_size=3, padding=1) self.relu3_2 = nn.ReLU() self.conv3_3 = nn.Conv2D(in_channels=256, out_channels=256, kernel_size=3, padding=1) self.relu3_3 = nn.ReLU() self.pool3 = nn.MaxPool2D(kernel_size=2, stride=2, ceil_mode=True) # 第四段 self.conv4_1 = nn.Conv2D(in_channels=256, out_channels=512, kernel_size=3, padding=1) self.relu4_1 = nn.ReLU() self.conv4_2 = nn.Conv2D(in_channels=512, out_channels=512, kernel_size=3, padding=1) self.relu4_2 = nn.ReLU() self.conv4_3 = nn.Conv2D(in_channels=512, out_channels=512, kernel_size=3, padding=1) self.relu4_3 = nn.ReLU() self.pool4 = nn.MaxPool2D(kernel_size=2, stride=2, ceil_mode=True) # 第五段 self.conv5_1 = nn.Conv2D(in_channels=512, out_channels=512, kernel_size=3, padding=1) self.relu5_1 = nn.ReLU() self.conv5_2 = nn.Conv2D(in_channels=512, out_channels=512, kernel_size=3, padding=1) self.relu5_2 = nn.ReLU() self.conv5_3 = nn.Conv2D(in_channels=512, out_channels=512, kernel_size=3, padding=1) self.relu5_3 = nn.ReLU() self.pool5 = nn.MaxPool2D(kernel_size=2, stride=2, ceil_mode=True) # FCN层 self.fc6 = nn.Conv2D(in_channels=512, out_channels=4096, kernel_size=7) self.relu6 = nn.ReLU() self.drop6 = nn.Dropout(p=0.5) self.fc7 = nn.Conv2D(in_channels=4096, out_channels=4096, kernel_size=1) self.relu7 = nn.ReLU() self.drop7 = nn.Dropout(p=0.5) self.score_fr = nn.Conv2D(in_channels=4096, out_channels=num_classes, kernel_size=1) self.upscore = nn.Conv2DTranspose(in_channels=num_classes, out_channels=num_classes, kernel_size=32, stride=16, bias_attr=False) def forward(self, x): # 第一段 x = self.conv1_1(x) x = self.relu1_1(x) x = self.conv1_2(x) x = self.relu1_2(x) x = self.pool1(x) # 第二段 x = self.conv2_1(x) x = self.relu2_1(x) x = self.conv2_2(x) x = self.relu2_2(x) x = self.pool2(x) # 第三段 x = self.conv3_1(x) x = self.relu3_1(x) x = self.conv3_2(x) x = self.relu3_2(x) x = self.conv3_3(x) x = self.relu3_3(x) x = self.pool3(x) pool3_out = x # 第四段 x = self.conv4_1(x) x = self.relu4_1(x) x = self.conv4_2(x) x = self.relu4_2(x) x = self.conv4_3(x) x = self.relu4_3(x) x = self.pool4(x) pool4_out = x # 第五段 x = self.conv5_1(x) x = self.relu5_1(x) x = self.conv5_2(x) x = self.relu5_2(x) x = self.conv5_3(x) x = self.relu5_3(x) x = self.pool5(x) # FCN层 x = self.fc6(x) x = self.relu6(x) x = self.drop6(x) x = self.fc7(x) x = self.relu7(x) x = self.drop7(x) x = self.score_fr(x) x = self.upscore(x, output_size=pool4_out.shape[-2:]) pool4_out = 0.01 * pool4_out x = paddle.add(x, pool4_out) x = self.upscore(x, output_size=pool3_out.shape[-2:]) pool3_out = 0.0001 * pool3_out x = paddle.add(x, pool3_out) x = self.upscore(x, output_size=x.shape[-2:]) return x ``` 这里使用了PaddlePaddle的`nn`模块实现了FCN16s模型。在forward方法中，我们按照FCN16s网络结构的方式依次进行了前向计算。其中，我们使用了反卷积（`Conv2DTranspose`）对特征图进行上采样，并使用了跳跃连接（skip connection）将浅层特征和深层特征结合起来进行分割任务。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr-MegRob

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值