MedNeXt的一些问题集锦

最新推荐文章于 2024-10-02 01:49:36 发布

甜辣嘟嘟嘟

最新推荐文章于 2024-10-02 01:49:36 发布

阅读量463

点赞数 1

文章标签：深度学习医学图像分析医学图像分割图像处理

本文链接：https://blog.csdn.net/weixin_43627723/article/details/131629554

版权

文章讨论了机器学习中的归纳偏差问题，以及深度监督在处理这一问题上的策略。同时，提到了宽度缩放、感受野、GroupNorm等优化技术在神经网络中的应用，包括GeLU激活函数对模型性能的影响。此外，还介绍了BottleNeck结构如何提升网络效率，以及DSC和SDC作为图像分割任务的评估指标。

摘要由CSDN通过智能技术生成

归纳偏差是一种关于机器学习算法的目标函数的假设，也就是目标函数评分的标准。
归纳偏差是指模型更容易学习到训练数据中的局部和表面特征，而较难捕捉全局和抽象特征。

scalable 可扩展的
network-wide优势？？？

深度监督
深度监督的输出有四个不同尺度分割结果，将前三个不同尺度分割结果分别与标准图像来计算dice（即loss1，loss2，loss3），然后相加，为了控制这三个结果对最后分割的影像，还需要乘以一个权重因子alpha（初始值为1），随着不断训练alpha也不断衰减（以0.9倍衰减）

宽度缩放和感受野缩放
内核大小（滤波器大小）影响感受野的缩放。感受野是指在神经网络中一个特定神经元接收输入时所关注的输入空间的区域大小。

宽度缩放
宽度缩放可以用1x1x1的卷积来实现。在卷积神经网络中，1x1x1的卷积被称为逐点卷积或通道卷积。通过使用1x1x1的卷积，可以改变网络中特征图的通道数，从而实现宽度的缩放。

GroupNorm（组归一化）通过将特征分成多个组，并在每个组内进行归一化来解决这个问题。与 BatchNorm 不同，GroupNorm 不再依赖于批量大小，而是仅依赖于组的大小。每个组内的特征通道被视为独立的统计单元，归一化操作在每个组内进行。这样可以减少对批量统计量的依赖，提供更稳定的归一化效果。

GeLU激活函数（高斯误差线性单元），相对于其他常用的激活函数，如ReLU和sigmoid函数，GELU函数在某些情况下表现出更好的性能。它具有较平滑的导数，这对于梯度下降优化算法的稳定性和收敛性有益。此外，GELU函数在训练大型深度神经网络时也具有一定的优势，可以帮助改善模型的表示能力和泛化能力。
在这里插入图片描述
BottleNeck
BottleNeck通常是指在CNN中的一个卷积层，它是一种常见的网络模块或设计模式。
BottleNeck模块的关键特点是在中间阶段使用1x1卷积进行降维（通常被称为降维卷积）和扩展（通常被称为扩张卷积），以减少参数数量和计算复杂度。这样的设计可以在保持网络表达能力的同时，提高模型的效率和性能。