自监督学习
文章平均质量分 52
哈尔滨张谦蛋
i do
展开
-
机器学习之自监督学习(五)MAE翻译与总结(二)
,因为有标签的数据集需要大量的人工去进行标注,需要非常高的人工成本,但是无标签的数据在网络上到处可见,通过爬取的方式也便于收集。在编码过程中,编码器会强制模型通过学习来去除输入数据中的噪声,使得编码的特征表示尽可能干净和有用。第一个阶段不涉及任何的下游任务,就是拿着一堆无标签的数据去训练我们的网络,没有设定特定的任务。而想象出它的样子来。)是一种神经网络模型,旨在从包含噪声的输入数据中学习干净的、有用的特征表示。,去噪自动编码器是一类自动编码器,它破坏输入信号,并学会重构原始的、未被破坏的信号。原创 2023-11-23 15:23:01 · 79 阅读 · 0 评论 -
机器学习之自监督学习(五)MAE翻译与总结(一)
一个合理深的解码器可以弥补重建专业化在识别方面的不足,将潜在表示留在更抽象的层次上。线性分类层,然后在特定数据集上进行微调,端到端就是在特定数据集上可以通过训练修改模型参数,线性探测是仅仅在特定数据集上训练最后的线性分类层。这个编码器的输入中有很大一部分是掩模标记,而在未被损坏的图像中不存在这些掩模标记。我们的方法包括一个编码器,将观察到的信号映射到潜在表示,以及一个解码器,从潜在表示和掩模标记中重建原始信号。图像只是记录的光线,没有将其分解成视觉上的单词的语义。对于线性探测来说,足够深的解码器非常重要(原创 2023-11-23 15:00:11 · 422 阅读 · 0 评论 -
机器学习之自监督学习(四)MoCo系列翻译与总结(二)
它的主要目标是通过去除输入数据中的噪声,学习到输入数据的有用表示,从而提高模型对干净数据的鲁棒性。是一种自动编码器的变体,其目标是通过利用上下文信息,即与输入数据相关的周围环境或上下文,来学习更具意义和上下文感知的表示。是一种自动编码器的变体,其目标是通过考虑输入数据在通道(channel)维度上的关系,学习更具有跨通道相关性的表示。- **考虑通道关系:** 在学习表示时,关注输入数据在通道维度上的相关性,以更好地捕捉跨通道信息。文本处理: 上下文自动编码器可用于学习词语或句子的上下文感知表示。原创 2023-11-23 14:48:40 · 297 阅读 · 0 评论 -
机器学习之自监督学习(四)MoCo系列翻译与总结(一)
由于字典的键来自前几个小批量,我们提出了一个缓慢前进的键编码器,实现为查询编码器的基于动量的移动平均,以维持一致性(动态一致性)。移除最先进入的小批次可能是有益的,因为它的编码键是最过时的,因此与最新的编码键一致性最差。,表明:有监督训练的特征分布和无监督训练的特征分布是存在很大的差距的。(最近的关于对比学习的研究主要表现在动态字典的构建方面。的固定字典大小的限制都成为这两个模型在大的数据上扩展的阻碍。预训练任务和损失函数(代理任务的选择以及损失函数的构建)有趣的是,迁移的准确性取决于检测器的结构。原创 2023-11-23 14:14:29 · 583 阅读 · 0 评论 -
机器学习之自监督学习(三)BeiT-视觉BERT预训练模型翻译与总结
待补充。原创 2023-11-23 14:13:28 · 51 阅读 · 0 评论 -
机器学习之自监督学习(二)SimCLR翻译与总结
待补充。原创 2023-11-23 14:12:16 · 33 阅读 · 0 评论 -
机器学习之自监督(一)大规模预训练BERT翻译与总结
待补充。原创 2023-11-23 14:08:07 · 31 阅读 · 0 评论