![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 83
nqct1
草率计划,积极行动
展开
-
[AAAI2022]Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation
关键词: Grammatical Error Correction(GEC)、over-correction、seq2seq、sequence tag model、 Sequence-to-Action (S2A)、汉语和英语大致思路:结合了seq2seq以及sequence tag model两种模型的优点,避免过度校正,以及摆脱人工标注的限制。原创 2023-09-12 10:49:56 · 173 阅读 · 1 评论 -
【ICCV 2023】CDUL: CLIP-Driven Unsupervised Learning for Multi-Label Image Classification
论文原文:https://arxiv.org/pdf/2307.16634.pdf:多标签 图像分类 CLIP 无监督。原创 2023-08-05 16:54:32 · 1289 阅读 · 5 评论 -
【ACL2023】MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
关键词研究动机zeor-shot 在NLP上应用了,然而,它尚未被探索的视觉和多模态任务。由于之前BeiTv3做的大一统,将图片也当做一个imaglish语言处理,所以可以想到用instruction tuning来提升多模态的性能。【那这样的话,多模态就变成了处理NLP的任务,所以很多NLP再做的也可以迁移到这里。主要贡献(1)提出Multi-Instruction :第一个多模态指令调优基准数据集,它包含62个不同的多模态任务,采用统一的seq-to-seq格式,涵盖10个大类别。原创 2023-07-30 17:08:57 · 306 阅读 · 1 评论 -
MetaICL: Learning to Learn In Context 【NAACL 2022】
MetaICL:消除训练前和下游ICL使用之间的差距。通过简单地调整一些训练示例,没有参数更新或任务特定的template。证明了MetaICL是对人工编写的指令的补充,并且通过结合这两种方法可以获得最好的性能。原创 2023-07-26 16:41:00 · 209 阅读 · 1 评论 -
Retentive Network: A Successor to Transformer for Large Language Models
让“不可能三角”变得可能。原创 2023-07-23 22:53:10 · 749 阅读 · 0 评论 -
Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
文章主要工作大概是:通过自行构建Prompt的数据集,选取性能较好的Prompt,用于few-shot learning的文本分类任务中,改进分类效果。行文思路大概是:(1)先发现prompt order对于few-shot 分类任务的影响;(2)然后提出寻找有效Prompt order的方法(基于熵)原创 2023-07-07 23:15:48 · 352 阅读 · 1 评论 -
【2023】CiT: Curation in Training for Effective Vision-Language Data
它将数据目标结合到训练中,CiT自动生成高质量的数据,以加速对比图像-文本训练。CiT包含两个循环:一个管理训练数据的外环和一个使用被管理的训练数据的内环。:给定感兴趣任务的元数据,例如类名和大量的图像-文本对,CiT通过度量其文本嵌入和元数据嵌入的相似性,从池中选择相关的训练数据。(2)训练过程中,改变了Training Objective,只计算img2txt的loss部分。(1)主要是在数据上做改变——不定的epoch和动态的训练数据。数据够的话,直接取Dt;数据不够的话则取topK的数据。原创 2023-07-06 19:06:59 · 191 阅读 · 1 评论 -
Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding论文阅读
*行文思路:**Instruction + Imagen介绍自己的模型 + Evaluating Text-to-Image Models + Experiment + related work + 展望零、前置出自Google。(1)2021年1月,OpenAI公布了其首个文本生成图像模型DALL·E(2)2021年12月底,OpenAI再次提出GLIDE模型(3)2022年4月,OpenAI又又又提出DALL·E 2。原创 2023-02-07 15:22:56 · 674 阅读 · 1 评论