论文
文章平均质量分 68
WindyChanChan
本人才华有限,在线征集简介
展开
-
Instruct GPT:training language models to follow instructions with human feedback
Instruct GPT论文局限性GPT等大型语言模型基于Prompt的zero shot的学习范式有一个很大的问题是,预训练的模型完成的任务是后继文本的预测,这和具体任务的要求有一些偏离,生成的结果也不一定符合人的意图。贡献本文提出构建人类反馈的数据集,使用监督学习去Fine-tune GPT模型,这样能使得模型往大家希望的方向行进(模型输出与人类意图Alignment)。Fine-tune后,仅使用13亿参数量的GPT-3.5比1750亿参数量的GPT-3效果要好。数据集P原创 2024-01-05 21:28:00 · 833 阅读 · 1 评论 -
GPT-3: Language Models are Few-Shot Learners
模型架构基本延续GPT-2的基于Transformer的网络架构。相比于GPT-2做了如下改变:In-context Learning原创 2023-12-29 20:22:51 · 733 阅读 · 0 评论 -
GPT-2: Language Models are Unsupervised Multitask Learners
GPT 2论文代码GPT-2的核心思想是,任何一个有监督NLP任务,都可以看成是语言模型的一个子集,只要预训练语言模型的容量足够大,理论上就能解决任何NLP任务。GPT-2的核心就是提升模型的容量和数据多样性,让语言模型能够达到解决任何任务的程度。改进之处模型更大,采用48层的transformer的decoder共有15亿个参数;数据集更大,训练数据是一个称为WebText的数据集总共有40GB的文本内容。GPT在大数据集上预训练然后再目标任务上微调会存在:需要重新训练模型;需要针对目标原创 2023-12-28 18:35:38 · 373 阅读 · 0 评论 -
CV论文网
CVPapersCVPapers专注于计算机视觉资源。CV算法CV算法代码ECCV论文ECCV每间隔一年举办。AMinerAMiner有做好的分类,也有顶会论文的推荐,AMiner是由清华大学计算机科学与技术系教授唐杰率领团队建立的,具有完全自主知识产权的新一代科技情报分析与挖掘平台。原创 2023-07-15 13:11:41 · 57 阅读 · 0 评论 -
Part-based Pseudo Label Refinement for Unsupervised Person Re-identification
PPLR单个部分的消融研究与最新的方法对比原创 2023-07-04 18:47:17 · 329 阅读 · 1 评论 -
NFormer: Robust Person Re-identification with Neighbor Transformer
研究动机解决方法LAARNS。原创 2023-07-04 09:15:26 · 108 阅读 · 0 评论 -
2022 TIP: Cluster-guided Asymmetric Contrastive Learning for Unsupervised Person Re-Identification
现有的无监督Re-ID方法通常建立在聚类的伪标签上。然而聚类结果严重的依赖学习的特征的质量,那很大程度上受图片颜色的影响。我们试图抑制颜色的负面主导影响,以学习无监督人Re-ID的更有效特征。具体而言,我们提出了一种用于无监督人员Re-ID的聚类引导非对称对比学习(CACL)方法,其中利用聚类结果在适当设计的不对称对比学习框架中引导特征学习。在CACL中,实例级和聚类级的对比学习都被用来帮助孪生网络学习判别特征分别针对不同的数据增强视图内和不同的数据扩展视图之间的聚类结果。原创 2023-03-26 17:15:04 · 209 阅读 · 0 评论 -
2022 CVPR : On the Integration of Self-Attention and Convolution
卷积操作和注意力机制都可以用来学习表征,两者之间存在根本关系。从某个意义说,这两个范例的大部分计算实际上用相同的操作完成。传统的k×kk\times kk×k卷积可以被分解成k2k^{2}k2个1×1卷积,移位和求和操作。然后,我们将查询、键和值在自我注意力模块中的投影解释为多个1×1卷积,然后计算关注权重和值的聚合。该混合模型既享受了self-Attention 和Convolution (ACmix)的好处,同时与纯卷积或自我注意力对应模型相比具有最小的计算开销。原创 2023-03-10 21:23:33 · 176 阅读 · 0 评论 -
2021 Oral CVPR : Exploring Simple Siamese Representation Learning
孪生网络已经成为无监督视觉表征学习的主流框架,最大化同一图像的两个增广图的相似性使其避免 崩溃解(collapsing solutions) 问题。本文提出了一个simple Siamese网络可以在不使用1) 负样本对;2)大批量; 3) 动量编码器取得好的结果。崩溃解存在于损失函数和网络中,但是可以通过stop-gradient操作避免崩溃解。SimSiam在ImageNet及下游任务上均取得了有竞争力的结果。原创 2023-02-26 21:02:35 · 393 阅读 · 0 评论 -
2021 ICCVW 论文:Reducing Label Effort: Self-Supervised meets Active Learning
主动学习通过选择有代表性的或者信息丰富的样本减少人工标注。自监督训练从大量的无标注样本学习特征然后在少许有标注样本上调参。当前工作重点在于这两个方法能否相互受益,本文在目标识别数据CIFAR10/100和Tiny ImageNet做了实验,结果表明在减少标注耗时上自监督训练比主动学习更有效。但是当标注预算较高时,两者的结合是有益的。当近几乎一半的数据集被标记时,主动学习与自我训练或从头开始训练之间的性能差距就会缩小。我们设计了一个框架由两部分组成:自监督训练和主动学习。原创 2023-02-19 19:56:13 · 171 阅读 · 0 评论 -
CV论文合集
CV论文合集原创 2023-01-13 22:33:06 · 34 阅读 · 0 评论