倒转月球-CSDN博客

原创 AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

1.在这篇论文之前，视觉任务的主流还是卷积神经网络架构的模型，但受到Transformer在NLP任务上取得成功的影响，也有其他研究人员将自注意力机制应用于视觉任务上，但还是具有一定的局限性。2.作者受NLP中Transformer缩放成功的启发，尝试在图像上直接应用标准Transformer，尽可能少地进行修改（尽可能保持Tranformer的架构不变）。为此，我们将图像分割成块（patch），并将这些块的linear embedding序列作为输入提供给Transformer。

2024-06-27 17:03:23 1014

原创利用Gradio和chat API key开发一个聊天小助手

利用gradio制作一个交互式页面，可用于部署人工智能模型和算法应用演示。

2024-04-29 14:20:12 358

原创 Mamba 环境安装(Ubuntu环境)

2.将这两个文件放在你新建的虚拟环境中的site-packages中，然后改名。因为不改名的话，会报错，is not a supported wheel on this platform。一般来说执行到倒数第二步就会报错了。

2024-04-02 14:45:24 1147 8

原创对文件进行批处理——重命名

python脚本

2023-12-21 16:35:01 488

原创扩散模型原理介绍

分布是指一个函数，它展示了一个变量的可能值以及它们出现的频率。

2023-12-19 22:08:31 1060

原创深度学习杂记

batch_size比较大时，在显存足够的情况下，训练一个epoch的时间会比batch_size小的快，但是收敛速度可能会慢一些，需要迭代更多次，在训练达到相同loss的情况下，可能比batch_size小的更慢。batch_size和学习率是可以搭配用到，batch_size越大，梯度下降的方向会越准确，但是会稍微平和，梯度下降比较慢，收敛速度慢，所以可以搭配大一点的学习率，加快其收敛速度；（2）CBAM注意力：CBAM模块同时用到了通道注意力和空间注意力，：改变通道数（可以增加也可以减少）；

2023-12-07 20:04:02 881 1

原创概率论（1）

样本空间：所有样本点构成的一个集合，{正面，反面}。随机试验E的所有基本结果组成的集合为E的样本空间。样本空间的元素称为样本点或基本事件。例如：抛一枚硬币（实验），正面、反面（结果不唯一）出现的概率都是二分之一。概率论就是搞明白几个字母之间的关系：P（概率）、E（）、D（）、F（）P（概率）：反映随机事件出现的可能性大小。实验——>结果不唯一——>每种结果的出现存在可能性——>可能性大小。样本（做一次实验叫一次取样）——>随机——>概率P。样本点：实验的每个结果就称做样本点。

2023-11-10 17:00:33 62 1

原创项目二 ImageNet图像识别模型与CIFAR-10

本文主要是了解如何处理数据，并完成一个小型的图像识别项目。首先，介绍Pytorch如恶化加载数据集，以CIFAR-10为例，并基于CIFAR-10完成一个图像分类模型；其次，介绍如何使用GPU加速模型训练；最后，介绍图像领域使用较为广发的ImageNet数据集和一些常用的图像识别模型。

2023-07-20 10:20:17 359

转载深度学习中的backbone、head、neck等释义

这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。比如分类问题，你输入了一张图片，肯呢个网络有特征提取，全链接分类，概率计算什么的，但是跳出算法问题，单从结果来看，就是给了一张输入，输出了一个预测结果。瓶颈的意思，通常指的是网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。

2023-07-09 17:48:48 470 1

weixin_43328758的博客