- 博客(17)
- 收藏
- 关注
RSS订阅原创 Swin Transformer
它告诉我们，要把 NLP 的利器（Transformer）用好，必须针对视觉信号的特性（高分辨率、多尺度）进行底层计算架构的定制化改造。它由微软亚洲研究院（MSRA）的研究员们提出，并在 ICCV 2021 上获得了最佳论文奖（Marr Prize）。这使得模型能产生 4x、8x、16x、32x 降采样的特征图，完美适配。只在局部窗口内看，窗口之间就没有交流了，这会限制模型建模全局信息的能力。移动窗口后，窗口的数量会变多，且边缘窗口的大小不再一致。它从较小的 Patch（4x4 像素）开始。
2026-04-29 17:45:13
429
原创 多模态论文
特性速度差异原因主要交互任务ITM (图文匹配，判别式)Captioning (生成描述，生成式)生成式任务更易并行化负样本处理必须使用难负样本挖掘天然具备强监督，无需额外挖掘减少了采样与筛选时间计算流设计多次前向计算不同 Loss单次前向共享计算图显著减少冗余计算辅助机制动量模型 + 特征队列倾向于纯粹的 Scaling降低显存占用与同步延迟Decoder 架构的快，本质上是**“用更强的监督任务取代了更复杂的训练策略”。
2026-04-27 20:51:39
337
原创 CLIP及其相关工作
基本不改动CLIP，只是把CLIP提取的特征跟原来的特征进行融合不太借助训练参数，只是借鉴多模态对比学习的思想，根据自己的任务定义正负样本对，去算多模态的对比学习的LOSS。把CLIP模型当teacher，把浅层或者深层特征来做蒸馏，帮助现有模型收敛更快。
2026-04-26 20:24:30
413
原创 蒸馏学习Distillation
蒸馏学习本质上是一种信息迁移。模型的参数量不等于它所含的知识量。通过这种方式，我们可以在算力受限的设备上，享受最先进模型带来的技术红利。蒸馏的核心在于学生模型不仅要听“标准答案”，还要听“老师的见解”。A. 蒸馏损失 (Distillation Loss)学生模型的输出与教师模型的**软标签（Soft Targets）**之间的差异。通常使用KL 散度（Kullback-Leibler Divergence）来衡量。这里会用到温度系数 (TTT。老师和学生都会通过同样的TTT。
2026-04-14 22:08:30
332
原创 编码器的计算复杂度
cite_start]FFN 通常由两层全连接组成，中间有一个激活函数（如 ReLU） [cite: 196]。，即执行了多少次加法和乘法。对于矩阵运算，其复杂度计算遵循非常直观的代数逻辑。卷积实际上是特殊的矩阵乘法。在计算人工智能领域的算法复杂度时，我们通常关注。主导 [cite: 1504]。
2026-04-11 16:02:06
396
原创 理解Transformer
前一层的神经元代表不同的特征数据，后一层的神经元代表抽象出来的不同结果。总的来说，隐藏层的每一个神经元都可以看作不同的特征，相同层对应的特征的抽象程度是一样的，层数越深，特征越抽象。在训练时，一个符合逻辑的正常文本不可能出现设定语义Q和表达语义K矛盾的现象，如果Q和K的注意力分数偏小，意味着相似性低，出现了矛盾，当前参数有问题，需要靠反向传播调整W矩阵。输入5（奇数）个token，把中间的拿掉，然后输入一个嵌入矩阵得到4向量，把4个向量相加合成一个向量，对这个和向量进行解码看能否得到被拿掉的token。
2026-04-10 22:42:27
355
原创 Read Paper--Vision Transformer
功能上：每个 Query 是一个通用的插槽，负责输出一组 (class, box) 或 (no object)。行为上：查询之间通过位置和形状进行分工协作，而不是通过类别进行分工。这种设计使得 DETR 能够通过有限的 $N$ 个查询覆盖图像中各种可能出现的物体分布，同时利用自注意力机制（Self-attention）在查询之间进行通信（是因为在自注意力机制中，信息的发送方（$K, V$）和接收方（$Q$）的身份都统一在 Object Query 这一个物理实体身上）。
2026-04-09 22:27:02
377
1原创 随机森林算法
1、集成学习思想（ensemble）： 集成学习就是“博采众长”，将一组弱学习器通过一定方法结合在一起得到强学习器，这个强学习器的泛化能力相对任何一个弱学习器都要好，甚至还有起到三个臭皮匠，赛过诸葛亮的效果。集成学习的分类：1.Bagging（bootstrap aggregating自助聚集）：装袋。并行处理，基本思想为：假设需要T个学习器，首先从数据集中采样出T个数据集（自主采样法bootstrap sampling：有放回的采样），然后基于这T个数据集训练分类器，再将这些基分类器进..
2022-04-29 11:01:22
269
原创 K-means聚类算法
1.概述K-means算法是最为经典的基于划分的聚类算法，基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。K-means算法接受参数k，然后将事先输入的n个数据对象划分为k个聚类以便使得所获得的聚类满足同一聚类的对象相似度较高，而不同聚类中的对象相似度较小。聚类相似度是利用各个聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的2.实现原理基本思想是初始随机给定k个簇中心，按照最近邻原则把待分类样本点
2022-04-29 10:44:18
343
原创 特征值分解SVD
特征值分解：线代里的相似对角化，必须是方阵奇异值分解：可以不是方阵P(m*m维)为左奇异矩阵，Q（n*n维）为右奇异矩阵，∑对角矩阵（m*n维）左奇异矩阵对矩阵进行行压缩，右奇异矩阵对矩阵进行列压缩。奇异值分解的应用：降维和压缩numpy.linalg.svd函数函数：np.linalg.svd(a,full_matrices=1,compute_uv=1)。参数：a是一个形如(M,N)矩阵 full_matrices的取值是为0或者1，默认值为1，这时u的大小
2022-04-29 10:42:46
229
原创 主成分分析PCA
PCA的目的/作用：PCA是最常用的线性降维方法，他的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。PCA降维的目的就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大信息量的维度上进行投影。求解步骤：去除平均值（这一步不是独立于PCA的预处理步骤，而是PCA的定义规定的必须步骤，为了满足协方差矩阵的要求） 计算协方差矩阵（各维度
2022-04-29 10:40:28
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人