gbchen99-CSDN博客

原创【无标题】

anchor box 是先验框，bounding box是预测框就可以了。bounding box 用于预测物体的位置信息，是基于anchor box 偏移得到。

2024-08-30 20:50:45 107 1

翻译 “Leveraging Pre-trained Checkpoints for Encoder-Decoder Models.ipynb”的副本

正在加载…“Leveraging Pre-trained Checkpoints for Encoder-Decoder Models.ipynb”的副本“Leveraging Pre-trained Checkpoints for Encoder-Decoder Models.ipynb”的副本_目录利用编码器-解码器模型的预训练语言模型检查点介绍BERTGPT2编码器-解码器热启动编码器-解码器模型（理论）回顾编码器-解码器模型使用 BERT的暖启动编码器-解码器使用 BERT

2022-07-03 16:09:20 536

原创 seq2seq attentio

encoder和decoder中的注意力机制注意力机制的核心思想：在decoder的每一步，把encoder中的所有向量提供给decoder模型，让decode根据自己当前的情况来选择自己需要的信息。例子h1、2、3…是encoder的hiddens1是decode的第一个hidden第一步第二步多步之后...

2022-07-02 20:26:44 249

原创 T5-small的encoder，decoder模型结构

t5-small 的结构全部的结构

2022-06-25 17:40:31 2327

原创 ACL２０２２：C-MORE: Pretraining to Answer Open-Domain Questions byConsulting Millions of References

文章链接：https://arxiv.org/abs/2203.08928v2提出问题：是如何在没有特定任务注释的情况下构建大量高质量的问答上下文三元组。具体来说，三元组应该通过以下方式与下游任务很好地保持一致：（i）覆盖广泛的领域（用于开放领域应用程序），（ii）将问题与其语义相关的上下文与支持证据联系起来（用于训练检索器)，以及 (iii) 在上下文中识别正确答案（用于训练读者）。解决问题：通过查阅维基百科中引用的数百万个参考文献，自动构建满足所有三个标准的大型语料库。对齐良好的预训练信号对检索器和读者

2022-06-24 09:57:01 232

翻译 Get To The Point: Summarization with Pointer-Generator Networks

2017 年 4 月 16 日这篇博文是关于ACL 2017论文Get To The Point: Summarization with Pointer-Generator Networks，作者 Abigail See、Peter J Liu 和 Christopher Manning。[论文] [代码]互联网时代已经为数十亿人的指尖带来了深不可测的海量信息——如果我们有时间阅读它就好了。尽管我们的生活已经因随时访问无限数据而改变，但我们也发现自己被信息过载所困。出于这个原因，自动文本摘要——将一段文本自

2022-06-17 10:16:29 330

原创 FID(Fusion-in-Decoder models)源码笔记

源码：https://github.com/facebookresearch/FiD

2022-06-13 22:21:41 2638 1

原创 FID(Fusion-in-Decoder models)

开放领域问答的生成模型已被证明具有竞争力，无需借助外部知识。虽然很有希望，但这种方法需要使用具有数十亿参数的模型，这对于训练和查询来说是昂贵的。

2022-06-12 20:45:29 3073

原创 ACL2022 用于开放域问答的复制增强生成模型 A Copy-Augmented Generative Model for Open-Domain QuestionAnswering

ACL2022 用于开放域问答的复制增强生成模型 A Copy-Augmented Generative Model for Open-Domain QuestionAnswering

2022-06-12 17:14:43 1022 5

原创 Hugging Face Bert模型结构

Bert

2022-06-12 15:18:29 484

翻译检索器与阅读器:开放域问答的综述 Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering

开放域问答（OpenQA）是自然语言处理（NLP）中的一项重要任务，旨在基于大规模非结构化文档以自然语言的形式回答问题。最近，关于 OpenQA 的研究文献数量激增，特别是与神经机器阅读理解 (MRC) 集成的技术。......

2022-06-12 10:52:30 2851

转载 4.0 基于Hugging Face -Transformers的预训练模型微调.md

本文参考资料是Hugging Face主页Resources下的课程,节选部分内容并注释（加粗斜体），也加了Trainer和args的主要参数介绍。感兴趣的同学可以去查看原文。本章节主要内容包含两部分内容：目录本章节将使用 Hugging Face 生态系统中的库——🤗 Transformers来进行自然语言处理工作(NLP)。以下是 Transformer 模型（简短）历史中的一些参考点：Transformer 架构于 2017 年 6 月推出。原始研究的重点是翻译任务。随后推出了几个有影响力的模型.

2022-06-09 10:38:01 730