模型学习笔记
文章平均质量分 95
wufen_
这个作者很懒,什么都没留下…
展开
-
【论文笔记】线性注意力:Learning to (Learn at Test Time): RNNs with Expressive Hidden States
现有的 RNN 层具有线性复杂度,但它们在长上下文中的性能受到隐藏状态表达能力的限制。在 Books 的 2k 上下文中,Pile Пk 的所有观察结果仍然成立,除了 Mamba 现在的表现略好于 TTT-Linear(而 它们的线在 Pile Пk 中大致重叠)。,这一过程通过自监督学习进行,即将历史上下文x视为没有label的数据集,而将隐藏状态视为模型,也就是将隐藏状态视作自监督模型产生的模型。对于批量大小b的选择,需要进行速度和质量之间的权衡,原文进行了实验,得到了如图的结果,故采取了b=16。原创 2024-08-13 08:00:00 · 933 阅读 · 2 评论 -
【模型学习】CLIP_对比语言-图像预训练
CLIP的全称是Contrastive Language-Image Pre-Training,中文是对比语言-图像预训练。CLIP的主要目标是通过对比学习,学习匹配图像和文本。在训练过程中,模型学会了将图像和文本编码成统一的向量空间,这使得它能够在语言和视觉上理解它们之间的关系。通过这种方式,CLIP可以识别图像中的物体、场景、动作等元素,同时也能够理解与图像相关的文本,例如标签、描述、标题等。CLIP的基本原理是对比学习,即让模型学习区分正样本(匹配的图像和文本对)和负样本(不匹配的图像和文本对)原创 2024-02-22 10:00:00 · 1525 阅读 · 1 评论