论文略读：When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric

最新推荐文章于 2024-12-28 11:15:02 发布
最新推荐文章于 2024-12-28 11:15:02 发布
阅读量212 收藏
点赞数 3
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/143351750
版权

2023 ACL 

一个主要的结论：对于语言模型来说，当问题需要的知识是高频率的热门知识时，检索增强反而会降低模型的性能。——>论文提出只对问到长尾的知识的问题进行检索。

单细胞论文记录(part6)--SpaGE: Spatial Gene Enhancement using scRNA-seq
小山羊的学习日志
05-27 369
学习笔记，仅供参考，有错必纠 阅读状态：略读 文章目录SpaGE: Spatial Gene Enhancement using scRNA-seqABSTRACTINTRODUCTIONMATERIALS AND METHODSSpaGE algorithmDatasets SpaGE: Spatial Gene Enhancement using scRNA-seq ABSTRACT Single-cell technologies are emerging fast due to their ab
【图像去噪】论文精读：MemNet: A Persistent Memory Network for Image Restoration
畅游计算机视觉的海洋
08-22 767
论文题目：MemNet: A Persistent Memory Network for Image Restoration —— MemNet：用于图像恢复的持久记忆网络ICCV 2017！延长记忆网络MemNet！DRRN相同团队出品！最近，非常深的卷积神经网络 (CNN) 在图像恢复中引起了相当大的关注。然而，随着深度的增长，这些非常深的模型很少实现长期依赖问题，这导致先验状态/层对后续状态几乎没有影响。
诸神缄默不语的论文阅读笔记和分类
诸神缄默不语的博客
06-27 852
诸神缄默不语的论文阅读笔记和分类：作者论文阅读笔记的目录或索引
Re49：读论文 When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parame
诸神缄默不语的博客
11-15 384
论文阅读笔记：When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
陈丹琦 ACL'23 Tutorial - 基于检索的大语言模型 学习笔记
zenRRan的博客
08-20 1973
知乎：奔跑的柴原文：见文末阅读原文编辑：深度学习自然语言处理 公众号本篇内容是对于ACL‘23会议上陈丹琦团队带来的Tutorial所进行的学习记录，以此从问题设置、架构、应用、挑战等角度全面了解检索增强的语言模型，作为对后续工作的准备与入门，也希望能给大家带来启发。本篇不包含对各个方法的详细剖析，获取更加详细的报告内容可前往：https://acl2023-retrieval-lm.github...
论文略读：Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?
qq_40206371的博客
07-07 1308
支持从32k到128k，再到1M个标记的上下文长度。——>能够系统地评估模型性能随上下文长度增加的变化。SQL：理解自然语言查询并从数据库中提取信息。多示例上下文学习：从大量示例中学习并完成任务。视觉检索：根据文本描述找出相关图像或视频。文本检索：从大量文档中找出相关内容。LOFT的一个关键特性是其可扩展性。音频检索：匹配文本与相应音频。RAG：基于检索信息生成答案。
论文略读：EDT: Improving Large Language Models’ Generation by Entropy-based Dynamic Temperature Sampling
qq_40206371的博客
11-01 212
南大 2024年3月的work。
论文略读：Self-Knowledge Guided Retrieval Augmentation for Large Language Models
qq_40206371的博客
11-03 362
2023 emnlp findings
论文略读：Learning and Forgetting Unsafe Examples in Large Language Models
qq_40206371的博客
07-06 380
随着发布给公众的大语言模型（LLMs）数量的增加，迫切需要了解这些模型从第三方定制的微调数据中学习的安全性影响。 论文研究了在包含不安全内容的噪声定制数据上微调的LLMs的行为，这些数据集包含偏见、毒性和有害性 发现虽然对齐的LLMs可以轻松学习这些不安全内容，但当随后在更安全的内容上进行微调时，它们相对于其他示例更容易遗忘这些内容。 受到遗忘差异的启发，作者引入了“ForgetFilter”算法，该算法根据模型对数据的遗忘信号强度过滤不安全的数据。 论文证明ForgetFilter算法确保了在
论文略读：FINE-TUNING ALIGNED LANGUAGE MODELS COMPROMISES SAFETY, EVEN WHEN USERS DO NOT INTEND TO!
qq_40206371的博客
04-15 359
reviewer 打分 66610。
论文略读：LoRA+: Efficient Low Rank Adaptation of Large Models
qq_40206371的博客
11-01 285
ICML 2024从理论分析了LoRA最优解必然是右矩阵的学习率大于左矩阵的学习率（数量级差距是O(n)）
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
akon_wong_hkbu的博客
08-18 1527
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond 机器阅读理解（MRC）旨在教机器阅读和理解人类语言，这是自然语言处理（NLP）的长期目标。随着深度神经网络的爆发和上下文语言模型（contextualized language models-CLM）的发展，MRC的研究经历了两个重大突破。作为一种现象，MRC和CLM对NLP社区有很大的影响。在本次调查中，我们提供了有关MRC的全面.
A2J：Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation 。。。略读与实践
AlgoMonster的博客
07-14 1697
《A2J: Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation from a Single Depth Image 》略读与实践 这篇是2019hand pose 挑战赛获得第一的作品（好可惜自己没去），据说是第一篇利用目标检测的anchor机制来回归手部关键点坐标的。作者认为anchor points 能够针对局部坐标回归能够捕获全局和局部空间信息。 代码开源地址：https://github.com/zhangbos
文献略读：Frontier-Based 相关
m0_46167617的博客
09-14 1046
文献略读：Frontier Based 相关 A Frontier-Based Approach for Autonomous Exploration 该论文第一次提出了frontier-based方法 frontier：已知空间和未探索空间的分解区域 核心思想：To gain the most new information about the world, move to the boundary between open space and uncharted territory. 地图采用evid
pyQT + OpenCV小练习
最新发布
h1413517383的博客
12-28 428
锐化——使用cv2.Laplacian()、cv2.Sobel()实现。当用户点击下拉列表选项时，相应地更新窗口中显示的图像。提供一个按钮，当用户点击按钮时，能保存调整后的图像。模糊——使用cv2.GaussianBlur()实现。cv2.warpAffine（对图像进行放射变换）当用户点击按钮时，相应地更新窗口中显示的图像。边缘检测——使用cv2.Canny()实现。cv2.cvtColor（转换为灰度图）在 PyQt 的窗口中显示这张图像。在 PyQt 的窗口中显示这张图像。
AI Glass 明年会火，为 AIR 形态预热
【CSDN】
12-26 1097
AI Glass 明年会火，为 AIR 形态预热【AI×AR=AIR】。
【MySQL】细致入微讲解篇：深度学习与探索数据库索引
m0_66360096的博客
12-27 680
*前言:**本节内容主要讲解索引的下半部分。注意： 索引是很重要的知识点。务必学习！！本节将会主要索引的本质B+树， 以及为什么选择B+和操作索引。下面友友们开始学习吧！
PyTorch实战|运动鞋识别
weixin_52390875的博客
12-27 587
数据收集确定数据来源：明确数据是来自数据库、文件系统、网络爬虫、传感器等。例如，在构建一个图像识别模型时，数据可能来源于互联网上的公开图像数据集，像 CIFAR - 10（由 10 个不同类别的 60000 张 32x32 彩色图像组成）；或者是通过专门的图像采集设备获取。获取相关数据：按照预先确定的来源渠道，收集足够数量的数据。对于文本分类任务，可能需要从新闻网站、学术论文库等地方收集文本内容，并标注好类别，如财经新闻、科技新闻等。数据清理处理缺失值识别数据集中哪些属性存在缺失值。
提升阅读与撰写技巧：有效应对英文论文
在《浅谈如何有效阅读与撰写英文论文》这份PPT中，作者针对电子信息工程学院学生在2020年6月8日遇到的问题，提供了一份实用的指南。主要内容围绕如何提升阅读英文论文的能力以及论文写作的策略。首先，作者认识到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>