![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 83
jinniulema
这个作者很懒,什么都没留下…
展开
-
【论文笔记】Active Retrieval Augmented Generation
传统方法采用retrieve-and-generate 的范式进行检索增强,这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法,可以在生成过程中主动决定何时检索以及检索的内容。具体来说,它迭代式地对 待生成的句子进行预测,如果预测的句子中含有低置信度的token,就使用预测的结果作为query检索相关文档,然后重新生成句子。原创 2024-03-10 20:50:59 · 1704 阅读 · 0 评论 -
【论文笔记】LIMA: Less Is More for Alignment
大型语言模型通常分两阶段进行训练:(1)对海量原始文本进行无监督预训练,学习通用表征;(2)指令微调和强化学习,更好地适应最终任务和对齐用户偏好。该论文通过训练LIMA来衡量这两个阶段的相对重要性,LIMA是一个65B参数的LLaMa语言模型,在没有任何强化学习或人类偏好建模的情况下,只对1000个精心策划的prompts和responses进行了标准监督损失的微调。LIMA表现出了非常强大的性能,只从训练数据中的少数几个例子中学习到了特定的响应格式,包括一些复杂的查询。原创 2023-10-18 21:32:39 · 679 阅读 · 0 评论 -
【论文笔记】BioGPT: generative pre-trained transformer for biomedical text generation and mining
预训练的语言模型在生物医学领域引起了越来越多的关注,这是受其在一般自然语言领域的巨大成功的启发。在自然语言领域的预训练语言模型的两个主要分支,即BERT(及其变体)和GPT(及其变体)中,第一个分支已经在生物医学领域得到了广泛的研究,如BioBERT和PubMedBERT。虽然它们在各种鉴别性的下游生物医学任务上取得了巨大的成功,但由于缺乏生成能力,限制了它们的应用范围。文章提出了BioGPT,一个针对特定领域的生成性Transformer语言模型,在大规模生物医学文献上进行了预训练。原创 2023-09-24 22:25:59 · 764 阅读 · 0 评论 -
NER命名实体识别文章或文献整理
收录命名实体识别NER的文章、文献、综述、解读等原创 2023-09-24 17:26:26 · 226 阅读 · 0 评论 -
《深度学习进阶:自然语言处理》natural language processing 的 jupyter notebook代码及笔记
《深度学习进阶:自然语言处理》jupyter notebook的ipynb代码,并加入了笔记,更利于学习。仓库地址:https://gitee.com/taurus_horse/nlp-from-scratch。源代码可在“随书下载”处获取:https://www.ituring.com.cn/book/2678。原创 2023-02-14 16:29:15 · 754 阅读 · 0 评论