NLP
文章平均质量分 83
HanslerLi
北京交通大学计算机科学硕士在读
展开
-
EMNLP 2023 | 蚍蜉撼大树:我们是否应该进行模型编辑?
我们对最近流行的直接模型编辑方法提出了质疑。基于检索的架构,它将事实记忆与LLM中体现的推理和语言能力解耦;概念删除方法,旨在防止生成文本中的系统性偏见;归因方法,其目的是将世代建立在已确定的文本来源中。我们认为,直接模型编辑不足以被信任为LLM固有缺点的系统补救措施,尽管它已被证明在提高模型可解释性方面具有潜力。但它强化了LLM模型真实这一概念,打开了LLM的潘多拉魔盒。我们呼吁谨慎地推广和应用模型编辑,将其作为LLM部署过程的一部分,并将LLM的用例限制在那些不依赖编辑作为关键组件的用例中。原创 2023-10-21 19:38:40 · 326 阅读 · 0 评论 -
让我们来给大模型做个手术~ | 借助EasyEdit库使用KN方法编辑ChatGLM2大模型
人工智能中的LLM火遍全网,渗透到我们生活的各个领域。大模型(下称LLMs)的缺点却也更加明显,如LLMs知识的滞后性、LLMs可能存在的“幻觉”等问题。模型编辑(Model Editing)应运而生,在LLMs纠错、LLMs数据更新等方向都有一定启发。本文,我们将借助EasyEdit库,使用经典的Knowledge Neurons方法对ChatGLM2进行知识编辑,初步认识模型编辑。原创 2023-10-21 19:30:33 · 452 阅读 · 1 评论 -
图神经网络 | GNN概念初理解
图神经网络概念的初理解,和一些分支的了解入门原创 2022-09-29 14:05:16 · 523 阅读 · 1 评论 -
知识图谱表示 | TransE原理简介与代码解读
在平面直角坐标系中,向量表示三元组知识(h,r,t)。其中h表示的是头实体的向量表示;r表示的是关系的向量表示;原创 2022-09-27 17:49:47 · 1295 阅读 · 0 评论 -
【论文笔记】《Learning Entity and Relation Embeddings for Knowledge Graph Completion》
学习实体和关系嵌入在完成知识图谱中的应用1 题目2 摘要3 问题定义4 方法及原理4.1 TransE模型[2]4.2 TransH模型[3]4.3 TransR模型5 研究成果5.1 链接预测5.2 关系抽取5.3 三元组分类6 创新点7 个人体会1 题目英文原标题:Learning Entity and Relation Embeddings for Knowledge Graph Completion中文译题:学习实体和关系嵌入在完成知识图谱中的应用2 摘要论文摘要的中文翻译内容知识图原创 2021-10-18 14:34:35 · 3682 阅读 · 0 评论 -
【NLP】带你走近《Attention Is All You Need》
本文是《Attention Is All You Need》的论文笔记,在读完整篇论文之后,我对Transformer提出的背景有初步认识,还有就是Transformer的Big Model参数得到的训练过程,都为我们自己训练模型提供标杆。原创 2021-08-13 15:40:45 · 130 阅读 · 0 评论 -
【NLP】注意力机制在神经网络中的应用
注意力机制在神经网络中的应用0. 前言这篇是我在一门专业选修课上的结课论文,当时的认识还是太过浅薄。最近开始系统学习NLP相关知识,先将这篇小论文发出来,之后会写关于2017年谷歌发布的《Attention Is All You Need》的笔记,还有Transformer的代码实现。鼓励自己学习,欢迎大家批评指正。1. 相关认知神经科学的实验结果注意力视觉同认识神经科学的联系是在视觉方面,我们经常说的注意力不集中都是体现在我们使用眼睛去看的过程。对于注意力机制的研究,早在上世纪九十年代就有人原创 2021-08-09 17:23:53 · 3556 阅读 · 0 评论