UNet和传统CNN的区别


一、UNet网络模型


UNet有两部分组成:Encoder和Decoder组成。

1.Encoder

UNet模型的左侧是Encoder模块,负责特征提取。由四个下采样块组成,每个下采样块由两个3*3的卷积核进行卷积、以及2*2的池化核进行最大池化,两部分组成的。此部分类似于CNN的VGG~

2.Decoder

UNet模型的右侧是Decoder模块,进行恢复原始分辨率。由四个上采样块组成,每个上采样块由上采样产生的特征图与左侧特征图进行融合cat操作、两个3*3的卷积核进行的卷积操作,生成特征图。
其中,拼接cat需要图片尺寸大小一致。
深层特征和浅层特征融合,是为了让包含高级抽象特征低分辨率图片在保留高级抽象特征的同时变为高分辨率,然后再与左边低级表层特征高分辨率图像进行融合cat操作。

二、UNet和传统CNN的区别

1.传统CNN是对图像进行分类,输出的结果是整个图像的类标签;UNet是像素级分类,输出的结果是每个像素点的类被,且不同类别的像素会显示不同的颜色。

2.传统CNN是通过卷积层和池化层提取图像特征,经反向传播确定最终参数,并得到最终的特征;而UNet的特征提取步骤较为复杂,分为Encoder和Decoder。

其中Encoder模块包括四个下采样块(两个卷积层、一个最大池化层)
Decoder模块包括四个上采样块(深层特征和浅层特征的融合、两个卷积层、一个最大池化层)

3.输入输出大小:传统CNN以VGG为例,输入大小为3*224*224,输出大小为1*1*num_class;UNet的输入大小为1*572*572,输出大小为2*388*388.


将TransformerUNet结合起来的方法是通过在UNet网络中加入Transformer层,形成一个端到端的语义分割网络。这种网络被称为TUNet(Transformer-UNet)。在TUNet中,原始图像被送入Transformer进行处理,然后将Transformer层的结果CNN的结果在UNet的decoder部分进行级联。这种结合的好处是,Transformer可以有效地捕捉全局特征像素之间的关系,而UNet则擅长提取局部特征。这样的结合使得网络更适合用于分割任务,并且在一些数据集上已经超过了传统UNet、AttenUnetTransUNet网络的性能。 TransUNet是另一种结合TransformerUNet的方法,它将CNN的特征图处理成序列,并使用self-attention操作来捕捉全局信息。然后将这部分信息上采样后与高分辨率特征图进行融合,以提高分割任务的效果精准定位能力。通过强强联合,TransUNet解决了UNet在平移不变性捕捉长期依赖能力方面的不足,并通过Transformer提供的细粒度信息改善了定位的精确性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [[Transformer]Transformer-Unet: Raw Image Processing with Unet](https://blog.csdn.net/qq_37151108/article/details/120932037)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [【医学分割】TransUnet](https://blog.csdn.net/qq_44173974/article/details/125776244)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值