Pytorch学习
文章平均质量分 81
Jorko的浪漫宇宙
这个作者很懒,什么都没留下…
展开
-
Mamba In-2.Vision Mamba公式推导
在之后加入 步长∆后,h(t+∆)如何表示呢?可以在h(t)处做一个切线,此时的h(t+∆)就由红色加蓝色的虚线相加得到了。不需要关注这两个式子是什么意思,只需要知道这两个式子是将连续状态打散为离散状态,最终得到公式4.对应于Vision Mamba论文中的公式3.在Mamba论文中它的block就是这样的,根据这两个公式构建的,h代表状态,x代表输入,y代表输出。红色的虚线可以表示为 函数在t位置的导数,其实可以表示为tanθ。论文拿 Ā 和 B拔来 代替 h(t)和 x(t) 前面的参数。原创 2024-06-02 12:05:44 · 242 阅读 · 0 评论 -
Mamba In-1.Mamba介绍
Mamba介绍原创 2024-05-18 17:54:36 · 970 阅读 · 0 评论 -
7.卷积和Transformer结合的ViT
前面两节课我们讲了Swin Transformer的结构,以及其中的细节部分,进行了实现,其中由Swin Block 以及 Patch Merging等等,上节课讲了 SW-MSA的shift和mask,对于shift之后,其中window中需要的保留,不需要的去掉,用到了boardcasting等等。这节课我们考虑卷积和Transformer如何结合,我们首先看一下conv是如何计算的,如果输入是5×5,卷积核是3×3,进行一个滑窗之后,最终输出是3×3的特征图那我们看一下细节,如何实现。原创 2023-03-13 21:19:15 · 1989 阅读 · 3 评论 -
6.一脚踹进ViT——Swin Transformer(下)
介绍SW-MSA、Relative Position Bias并且进行coding 实现SW-MSA原创 2023-03-11 21:35:08 · 416 阅读 · 1 评论 -
MICCAI2022|A Robust Volumetric Transformer for Accurate 3D Tumor Segmentation
我们提出了一种用于3D分割的Transformer架构,这是一项具有挑战性的任务,需要在编码局部和全局空间线索时保持复杂的平衡,并沿体积的所有轴保存信息。所提出的设计的编码器受益于同时编码局部和全局线索的自注意力机制,而解码器采用并行的自注意力和交叉注意力公式来捕获用于边界细化的精细细节。经验上,我们表明,所提出的设计选择产生了一个计算效率高的模型,在医学分割十项全能(MSD)脑肿瘤分割(BraTS)任务中具有竞争性和有前景的结果。我们进一步表明,通过我们的模型学习的表示对数据损坏是鲁棒的。原创 2023-03-07 21:06:13 · 813 阅读 · 0 评论 -
(新SOTA)UNETR++:轻量级的、高效、准确的共享权重的3D医学图像分割
UNETR++:轻量级的、高效、准确的共享权重的3D医学图像分割高效配对注意(EPA)块,该块使用一对基于空间和通道注意的相互依赖的分支来有效地学习空间和通道方面的判别特征原创 2023-03-05 22:23:04 · 7594 阅读 · 10 评论 -
5.一脚踹进ViT——Swin Transformer(上)
论文解读 + 实现原创 2023-02-23 16:58:00 · 345 阅读 · 0 评论 -
MICCAI2022 | NestFormer用于脑肿瘤分割的嵌套模态感知的Transformer
论文提出一种新的嵌套的模态感知transformer(NestedFormer)来显式地探索用于脑肿瘤分割的多模态磁共振成像的,效果很好原创 2022-12-14 20:19:23 · 2077 阅读 · 0 评论 -
4.一脚踹进ViT——ViT再审视与DeiT的实现
一脚踹进ViT系列原创 2022-11-12 21:38:23 · 909 阅读 · 0 评论 -
3.一脚踹进ViT——ViT总结完善
对ViT完善补充,添加cls token和position embedding原创 2022-11-07 19:57:17 · 1595 阅读 · 1 评论 -
2.一脚踹进ViT——Attention机制原理及实现
一脚揣进ViT系列第二集原创 2022-11-05 20:21:45 · 1452 阅读 · 0 评论 -
1.一脚踹进ViT——Pytorch搭建ViT框架
一脚揣进ViT系列原创 2022-11-05 11:34:33 · 2881 阅读 · 0 评论 -
PyTorch入门笔记3:TensorBoard的使用
PyTorch入门笔记3:TensorBoard的使用首先安装TensorBoard,在Pycharm终端,或者在Anaconda Promat中pip install tensorboard一、 SummaryWriterfrom torch.utils.tensorboard import SummaryWriter从函数介绍可知:这个类主要是将事件文件写入 log_dir文件夹,可以被TensorBoard解析。要用到其成员函数 add_scalar()def add_scalar(原创 2022-03-27 20:11:08 · 409 阅读 · 0 评论 -
PyTorch入门笔记2:PyTorch加载数据实战
PyTorch加载数据讲解一、 Dataset 和 Dataloader对于数据,我们对于已有的数据,需要用到Dataset(数据集)和DataLoader(数据加载)器。Pytorch 读取数据主要涉及两个类:Dataset和 Dataloader数据可类比为“垃圾”,不同数据是不同种类的垃圾,这里蓝色是可回收垃圾。Dataset能够把垃圾中的可回收垃圾即蓝色块给挑选出来,并对其进行编号,供后续网络的使用。而数据进入网络不会是一个个送进去,在送进去之前会进行打包,比如以一次多个的形式把数据输原创 2022-03-27 19:45:42 · 4645 阅读 · 0 评论 -
PyTorch入门笔记1:Python学习中的两大法宝函数
PyTorch入门笔记1:Python学习中的两大法宝函数Pytorch包(package)就像是一个工具箱,工具箱也会分好几个区,比如1,2,3,4区,每个区的工具的功能不同,现在想去探索这个工具箱的工具。通过函数 dir() 和 进行探索dir():打开,看见工具箱内部先打开 torch,可以看到torch有很多工具区,每个区提供不同功能的工具:还可以去看每个工具区里有什么工具,以AVG为例dir(torch.AVG):这些输出就是具体的工具了help():具体工具使用的说明书原创 2022-03-27 19:12:19 · 2311 阅读 · 0 评论 -
Pytorch入门笔记0:环境配置(重要前提)
Pytorch 环境配置说明:一般用Anaconda配置Python环境 ,使用Pycharm编辑器进行代码编辑1 Anaconda安装进入官网选择对应系统和版本进行安装,现在已更新到Python 3.9 ,我们安装最新版本即可。Anaconda | The World’s Most Popular Data Science Platform对于版本有要求的朋友可以下载对应版本针对下载有困难的,可以使用本链接(2019.10版本)相对稳定https://pan.baidu.com/s/1o_原创 2022-03-19 01:03:25 · 1883 阅读 · 0 评论