(怎么从0构建起框架1:)读VM-UNet: Vision Mamba UNet for Medical Image Segmentation有感

参考博客:

VMamba:SS2D的实现-CSDN博客了解SS2D:VMamba:SS2D的实现-CSDN博客

VMamba原文:2401.10166 (arxiv.org)

主要参考学习博客:VM-UNet: Vision Mamba UNet for Medical Image Segmentation-CSDN博客

VM-UNet原文:论文地址:https://arxiv.org/abs/2402.02491
                          项目地址https://github.com/JCruan519/VM-UNet

激活函数:深度学习中常见的10种激活函数(Activation Function)总结_激活函数有哪些-CSDN博客

常见深度学习之十二大激活函数【函数定义、性质、数学公式、代码实现】_深度神经网络激活函数-CSDN博客

激活函数 Relu,Gelu,Mish,SiLU,Swish,Tanh,Sigmoid_gelu和silu-CSDN博客

正文:

全文的主要就是这个结构:

全文也没做过多的对比和细节,主要就是对各个部分进行介绍。

文中提到VMamba的主要核心部分就是Mamba,而Mamba的核心部分就是VSS模块,而VSS模块的核心部分就是SS2D。

而这篇文章主要其实就是没有自己的东西,就是纯纯的提取核心部分套上Unet结构。VSS模块包括SS2D模块,相当于什么都没动,原封不动的提出,搬运。(下图是VMamba原文图)

所以当前行核心任务就是把代码看懂,哪一块对应那一块。

文章中,还提到了激活函数,不同于以前的ReLu激活函数,而是用的SiLu激活函数。

(后期也可以在这个地方调细节,让模型效果更好。)

关于几个激活函数的区别可通过公式来分别:

1. ReLu(Rectified Linear Unit)  ——相当于就是把负数归0,非负数不变化

公式:

优缺点:

应用场景:

2. Sigmoid激活函数——有点归一化(两极化)的意思(让负数趋近于0,正数靠近1,让处于中间的比较少)

公式:

优缺点:

应用场景:

3.Tanh函数——这个和Sigmoid激活函数类似,这个两极化更加明显。

公式:

优缺点:

应用场景:

4.Silu(Sigmoid Linear Unit) or Swish

5.

Gelu(Gaussian Error Linear Units)

6.Mish (A Self Regularized Non-Monotonic Activation Function)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值