寸先生的AI道路

一名古代风格的中国女学生坐在现代的计算机教室里面学习编程”安装transformer和tokenizer。Jupyter能使用Anaconda虚环境。解决：安装高于Pytorch>2.0。安装量化库节约VRAM GPUs。安装最新版本的diffuser。安装sentencepiece。根据项目需要安装其他库。

对比之前的几种mamba，针对糖尿病视网膜病变数据集，采用同样的训练参数：300 Epochs，32 Batch Size。这里我只是在增加了一层Residual Block提取，验证集最好的ACC是96.53%如果继续优化层的设置，应该会有更好的提升，这里就不继续做了。

这个实现的就是分类模型，我对原文中图像和源码进行了一定的标注，方便理解，论文中针对的3D图像，我这里按照2D的简单写，不影响理解。对照源码和图像可以发现，源码中是每组3个Res-Mamba块，每组的输出进行了分辨率维度的池化，然后拼接reshape后送入mamba，图中还有一个池化拼接后的特征和经过mamba的特征加和的操作图中没有体现。这个类似SENET中的SE分支计算加权系数，贴了一个SENet中的图，实现的就是下面红框部分。对应的是论文中的下图，但不知道是不是我下载的论文版本不对，感觉这个图有问题。

安装后sudo apt-get clean 一下，然后update就没有问题了，但是安装软件提示apt版本太低，这个时候根据提示升级就可以了，没有再报错。以往遇到问题先想着搜答案，结果绕了一圈都没有解决，最后还是从日志中发现蛛丝马迹，可见日志查看的重要性，毕竟每个人的电脑问题不一样，即使表现出来的错误相同。怀疑是libapt-pkg.so.6.0.0出问题了，该文件在/usr/lib/x86_64-linux-gnu下面，切进去看，刚开始下了2.0.10的，dpkg -i 安装报错，提示缺少依赖。

后面可以看到代码实现也是按照N/2写的。

原理简述就是图片输入后按通道输入后切分为两部分，一部分走二维分组卷积提取局部特征，一部分利用Vision Mamba中的SS2D模块提取所谓的全局特征，两个分支的输出通过通道维度的拼接后，经过channel shuffle增加信息融合。可能是没有用任何的训练调参技巧，经过几个epoch后，验证集准确率很快提升到了92.3%,然后就没有继续上升了。总体论文原理比较简单，但是论文实验做得很扎实，感兴趣查看原文。作者在原文中尝试了大中小三个不同的参数版本。这部分就是论文提出的创新点，图片中的结构。

“Understanding Diffusion Models: A Unified Perspective”是一篇写的非常好的扩散模型DDPM数学原理解读文章，这里翻译了一遍，对于一些细节补充记录一下，方便对照原文更好的理解。这篇文章作者是Calvin Luo，来自Google Research的Brain Team，详细介绍了生成模型（Generative Models）的背景知识，包括证据下界（Evidence Lower Bound, ELBO）、变分自编码器（Variational Autoen

Mamba模型代码实现及理解

论文提出 3D 医学图像分割Mamba模型，与基于 Transformer 的方法相比，SegMamba 在状态空间模型的整个体积特征建模方面表现出色，体积特征的分辨率为 64×64×64。在BraTS2023数据集上进行验证。图片已经画得很清楚，都是基本块组成，只是将transformer块中的CNN换成了mamba块。在BraTS2023 数据集实验效果。

医学图像异常检测

提出了一种新型的用于医学图像分割的深度学习模型MOSformer。它主要通过双编码器设计和动量更新方法来提高2.5D医学图像分割模型的性能，其中一个编码器使用动量更新保持切片表示的一致性。此外，它还引入了一种名为IF-Swin的变换器模块，通过在切片维度扩展窗口自注意力机制，实现多尺度特征图之间的有效融合。

本文提出了一个新的框架，名为MGIML，用于处理不完整的放射学-病理学数据进行癌症分级。主要创新在于利用记忆学习和梯度均衡化来处理数据的不完整性问题。具体来说，论文介绍了两个关键方案：记忆驱动的异质模态补全（MH-Complete）和旋转驱动的梯度均衡化（RG-Homogenize）。这些方法旨在提高模型在处理不完整数据时的性能，通过记录和阅读跨模态记忆来补充丢失的模态信息，同时优化梯度方向和大小的冲突，以提高癌症分级的准确性和效率。

本文的创新之处在于构建了改进的增强型transformer 模块，这些模块结合了标准transformer 块中的增强短路（Augmented Shortcuts），被策略性地放置在分割网络的瓶颈处，以保持特征多样性并增强特征交互和多样性。Kra 和 Simanca, 2012）在傅里叶域上通过快速傅里叶变换（FFT）的效率和有效性的启发，循环矩阵和向量之间的乘积带来了较小的计算复杂度。这样的设计允许网络在每一层中捕获和融合更加丰富和多样化的特征，有助于提高模型的性能和鲁棒性。扮演循环矩阵的角色，

HIPPO指定了一类特定的矩阵。

如果一个状态空间模型（SSM）由。

给定。

Chapter 3 Computing Structured SSMsGu A. Modeling Sequences with Structured State Spaces[D]. Stanford University, 2023.本文是MAMBA作者的博士毕业论文，为了理清楚MAMBA专门花时间拜读这篇长达330页的博士论文，由于知识水平有限，只能尽自己所能概述记录，并适当补充一些相关数学背景，欢迎探讨与批评指正。内容多，分章节更新以免凌乱。第3章讨论了结构化状态空间模型（SSM），特别是S

离散化后的SSM被定义为一个序列到序列的映射。

这篇文档的摘要介绍了在机器学习领域的显著进步，特别是在序列模型方面，这些模型对深度学习在各种科学应用中的成功至关重要。尽管目前的方法取得了成功，但它们在处理复杂的序列数据（如涉及长期依赖性的数据）时存在限制，例如需要大量的特定任务专业化、计算效率低下等问题。为了解决这些问题，论文介绍了一种使用状态空间模型的新方法。这些模型灵活、理论基础扎实、计算效率高，并且在多种数据类型和应用中表现出色。它们扩展了标准深度序列模型（如循环神经网络和卷积神经网络）的功能。

在BraTS2018和BraTS2019数据集上，该方法展现出优越性能，超越了单模态方法和多种最新的多模态方法，实现了高准确性和鲁棒性的脑肿瘤分级。特点：RMC结合了2D和3D卷积，包括一个包含3D卷积层的主体，一个3D卷积块和三个2D卷积块。特点：利用主要模态的高级别特征和次要模态的低级别特征之间的引导，来强调更具信息性的特征，同时抑制较少信息的特征。根据单模态模型的表现，将模态分为主要模态和次要模态。将其提出的方法与三种基本的多模态融合方法以及两种现有的MRI多模态分类方法进行了比较。