自然语言处理
文章平均质量分 67
J_Xiong0117
一枚终生学习的算法工程师
展开
-
AIGC:【LLM(八)】——Baichuan2技术报告
大型语言模型(LLMs)已经在各种自然语言任务上展示了惊人的性能,只需少量自然语言指令的示例,就能减少对大量特征工程的需求。然而,大多数强大的LLM都是闭源的,或者在其能力上受到英语以外的其他语言的限制。在本文技术报告中,我们介绍了百川2号(Baichuan 2),这是一系列大规模的多语言模型,包含70亿和130亿个参数,从0开始训练,共使用2.6万亿个标记。在公共基准测试如MMLU、CMMLU、GSM8K和人为评估中,百川2号与类似大小的其他开源模型相匹配或超过它们。此外,百川2号在医学和法律等垂直领域表原创 2023-09-13 17:36:38 · 879 阅读 · 0 评论 -
AIGC:【LLM(七)】——Baichuan2:真开源可商用的中文大模型
Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。其在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。原创 2023-09-11 16:08:41 · 1159 阅读 · 0 评论 -
AIGC:【LLM(六)】——Dify:一个易用的 LLMOps 平台
Dify 是一个易用的 LLMOps 平台,旨在让更多人可以创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排,应用可开箱即用,也能以后端即服务的 API 提供服务。原创 2023-08-18 18:13:45 · 2298 阅读 · 3 评论 -
AIGC:【LLM(五)】——Faiss:高效的大规模相似度检索库
Faiss的全称是Facebook AI Similarity Search,是Facebook的AI团队针对大规模相似度检索问题开发的一个工具,使用C++编写,有python接口,对10亿量级的索引可以做到毫秒级检索的性能。原创 2023-08-07 17:20:02 · 1433 阅读 · 1 评论 -
AIGC:【LLM(四)】——LangChain+ChatGLM:本地知识库问答方案
这种通过组合langchain+LLM的方式,特别适合一些垂直领域或大型集团企业搭建通过LLM的智能对话能力搭建企业内部的私有问答系统。原创 2023-08-07 15:41:55 · 2954 阅读 · 2 评论 -
AIGC:【LLM(二)】——LangChain:由LLMs驱动的应用开发框架
LangChain:由LLMs驱动的应用开发框架原创 2023-05-08 15:15:47 · 3869 阅读 · 1 评论 -
AIGC:【LLM(一)】——LoRA微调加速技术
LoRA的实现原理在于,冻结预训练模型权重,并将可训练的秩分解矩阵注入到Transformer层的每个权重中,大大减少了下游任务的可训练参数数量。对大规模的PLM进行微调往往成本过高,在这方面,PEFT方法只对少数(额外的)模型参数进行微调,基本思想在于仅微调少量 (额外) 模型参数,同时冻结预训练 LLM 的大部分参数,从而大大降低了计算和存储成本,这也克服了灾难性遗忘的问题,这是在 LLM 的全参数微调期间观察到的一种现象PEFT 方法也显示出在低数据状态下比微调更好,可以更好地泛化到域外场景。原创 2023-05-04 16:10:37 · 6148 阅读 · 1 评论 -
基于知识图谱的推荐系统(一):综述
推荐系统的基本任务是联系用户和物品,解决信息过载的问题,帮助用户找到其感兴趣的内容。个性化的推荐系统更是可以为用户推荐专属的物品目录,尽可能满足用户的个性化需求。但是推荐系统也面临一些挑战,如数据稀疏和冷启动等问题。另一方面,用知识图谱构建用户与物品,或者物品与物品之间的信息可以作为一个外部知识来缓解上述问题,并提高推荐系统的可解释性。原创 2023-02-06 17:25:13 · 1838 阅读 · 1 评论 -
实体对齐(三):RNM
实体对齐旨在将来自不同知识图(KG)的具有相同含义的实体联系起来,这是知识融合的重要步骤。 现有研究侧重于通过利用知识图谱的结构信息学习实体嵌入来进行实体对齐。这些方法可以聚合来自相邻节点的信息,但也可能带来来自邻居的噪声。 最近,一些研究人员试图成对比较相邻节点以增强实体对齐。原创 2023-01-31 10:57:22 · 2315 阅读 · 0 评论 -
实体对齐(二):BERT-INT
基于 BERT 嵌入的知识图对齐方法原创 2022-11-08 16:50:09 · 1875 阅读 · 0 评论 -
图神经网络(五):GAT
图注意力网络 (GAT),一种新颖的卷积式神经网络原创 2022-09-30 16:45:39 · 6714 阅读 · 0 评论 -
实体对齐(一):MuGNN
面向对齐的 KG 嵌入以进行实体对齐的多通道图神经网络模型 MuGNN原创 2022-09-29 10:24:50 · 1887 阅读 · 3 评论 -
图神经网络(四):GCN
GCN原创 2022-09-13 17:51:29 · 1143 阅读 · 0 评论 -
图神经网络(三):数学基础
图神经网络的数学基础原创 2022-08-30 18:33:37 · 1239 阅读 · 0 评论 -
知识表示学习(五):RotatE
知识表示学习方法RotatE原创 2022-08-24 15:00:03 · 3334 阅读 · 0 评论 -
知识表示学习(七):TransGCN
知识表示方法TransGCN原创 2022-08-23 18:17:29 · 1092 阅读 · 0 评论 -
图神经网络(二):知识点整理
图神经网络知识点梳理原创 2022-08-17 18:24:06 · 1431 阅读 · 2 评论 -
知识表示学习(四):TransD
TransD原创 2022-08-16 18:01:35 · 2608 阅读 · 0 评论 -
知识表示学习(三):TransR
TransR原创 2022-08-15 17:15:16 · 4493 阅读 · 0 评论 -
知识表示学习(二):TransH
TransH原创 2022-08-12 18:06:22 · 1250 阅读 · 0 评论 -
知识表示学习(一):TransE
知识表示学习方法TransE原创 2022-08-11 18:14:50 · 1645 阅读 · 0 评论 -
图神经网络(一):综述
图神经网咯综述原创 2022-08-04 17:44:44 · 5499 阅读 · 2 评论 -
动手学深度学习PyTorch(四):多层感知机
多层感知机pytorch代码原创 2022-07-15 13:56:07 · 278 阅读 · 0 评论 -
NLP工具集:【doccano】——标注平台doccano使用手册
标注平台doccano使用手册原创 2022-06-24 15:57:09 · 7916 阅读 · 9 评论 -
通用信息抽取UIE论文笔记
一.研究背景与动机信息抽取目的信息抽取旨在从非结构化的自然语言文本中抽取出结构化的信息。主要任务命名实体识别关系抽取事件抽取观点抽取主要设置全监督低资源少样本零样本作用场景医疗金融法律美业农业教育信息抽取现有的问题任务难度大,落地成本居高不下。1)不同的信息抽取任务拥有差异较大的输出结构,难以统一化建模:实体识别任务一般是采用span及其实体类别表示关系抽取任务一般采用三元组(triplet) 结构表示事件抽取任务一般采用记录(record)原创 2022-05-26 16:54:01 · 1976 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(七)】——P-tuning V2训练代码核心网络层解析
在P-Tuning V2代码中,包括四类NLP任务:token_classification:对应序列标注任务sequence_classification:对应文本分类任务question_answering:对应问答任务multiple_choice:对应阅读理解任务class TaskType(Enum): TOKEN_CLASSIFICATION = 1, SEQUENCE_CLASSIFICATION = 2, QUESTION_ANSWERING = 3,原创 2022-02-21 17:01:55 · 1244 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(六)】——P-tuning V2训练代码解析
文章目录一.arguments.pyDataTrainingArguments类ModelArguments类QuestionAnwseringArguments类get_args()函数二.run.pyStep 1. 获取所有参数Step 2. 根据任务名称选择导入对应的get_trainerStep 3. 将参数args传入get_trainer,得到trainer1)根据模型名称或路径加载tokenizer2)根据tokenizer和参数data_args、training_args加载数据集data原创 2022-02-18 11:00:30 · 2643 阅读 · 1 评论 -
知识图谱:【知识图谱问答KBQA(五)】——P-tuning V2
AbstractPrompt tuning仅使用冻结的语言模型调整连续提示,大大减少了训练时每个任务的存储和内存使用,然而,在 NLU 的背景下,先前的工作表明,对于正常大小的预训练模型,prompt tuning效果不佳。我们还发现,现有的prompt tuning方法无法处理硬序列标记任务,这表明缺乏普遍性。我们提出了一个新的经验发现,即适当优化的prompt tuning可以在广泛的模型尺度和 NLU 任务中普遍有效,它在只调整0.1%-3%的参数下可以与fine-tuning性能相匹敌。我们的方法原创 2022-02-11 17:46:36 · 2483 阅读 · 2 评论 -
知识图谱:【知识图谱问答KBQA(四)】——P-tuning V1
Abstract虽然具有传统微调的 GPT 未能在自然语言理解 (NLU) 上取得很好的结果,但我们证明采用可训练的连续提示嵌入 P-Tuning 的GPT 在 NLU 任务上可以优于或可与类似大小的BERT相媲美。在知识探测 (LAMA) 基准测试中,最好的 GPT 在测试期间无需提供任何额外文本即可恢复 64% (P@1) 的世界知识,这大大提高了之前的最佳水平 20+ 个百分点。在 SuperGlue 基准测试中,GPT 在监督学习中实现了与类似大小的 BERT 相当甚至更好的性能。重要的是,我们发原创 2022-02-09 15:57:44 · 1652 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(三)】——Prompt Learning
一. NLP范式NLP技术的发展可分为4个阶段/范式,如下图:1. 全监督学习(非神经网络)仅在目标任务的输入输出样本数据集上训练特定任务模型,其严重依赖特征工程。2. 全监督学习(神经网络)使得特征学习与模型训练相结合,于是研究重点转向了架构工程,即通过设计一个网络架构(如CNN,RNN,Transformer)能够学习数据特征。3. Pre-train,Fine-tune先在大数据集上预训练,再根据特定任务对模型进行微调,以适应于不同的下游任务。在这种范式下,研究重点转向了目标工程,设计在原创 2022-01-25 16:50:36 · 2859 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(二)】——开源句法分析工具LTP4
文章目录LTP4简介LTP安装载入模型自定义词典LTP应用分句分词词性标注命名实体识别语义角色标注依存句法分析语义依存分析(树)语义依存分析(图)LTP相关字段说明词性标注集命名实体识别标注集语义角色类型依存句法关系语义依存关系LTP4简介LTP(Language Technology Platform)由哈工大开源,提供了一系列中文自然语言处理的工具,用户可以使用这些工具对中文文本进行分词、词性标注、句法分析等。LTP安装pip3 install ltp载入模型from ltp import原创 2022-01-12 18:13:02 · 1265 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(一)】——依存分析简介
句法分析句法分析(syntactic parsing)是自然语言处理中的关键技术之一,它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析,一方面是语言理解的自身需求,句法分析是语言理解的重要一环,另一方面也为其它自然语言处理任务提供支持。语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。根据句法结构的表示形式不同,最常见的句法分析任务可以分为以下三种:1.句法结构分析(syntactic structure parsing),又称短语结构分析(phrase s原创 2022-01-12 17:08:42 · 1323 阅读 · 0 评论 -
Large-Scale Relation Learning for Question Answering over Knowledge Bases with Pre-trained Langu论文笔记
文章目录一. 简介1.知识库问答(KBQA)介绍2.知识库问答(KBQA)的主要挑战3.以往方案4.本文方法二. 方法问题定义:BERT for KBQA关系学习(Relation Learning)的辅助任务三. 实验1. 数据集2. Baselines3. Metrics4.Main Results一. 简介1.知识库问答(KBQA)介绍知识库问答(KBQA)旨在从给定结构化知识库(KB)中找到自然语言问题的答案,广泛用于现代问答和信息检索系统。传统的基于检索的KBQA方法通常将其构建为管道系统(原创 2021-12-29 18:02:32 · 926 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(十)】——知识图谱的问题与挑战
信息抽取环节开放域信息抽取,主要的问题包括实体抽取、关系抽取以及属性抽取。其中多语种、 开放领域的纯文本信息抽取问题是当前面临的重要挑战。知识融合环节实体消歧和共指消解的研究成果至今距离实际应用相差很大距离,如何在上下文信息受限条件下,如何准确地将从文本中抽取到的实体正确链接到知识库中对应的实体亟待解决。知识加工环节知识加工是知识图谱最具特色的功能,同时也是该领域最大的挑战。突破现有技术和思维方式的同时, 创新知识推理技术。知识更新环节如何确保自动化更新的有效性,是该领域面临的又一重大挑战。原创 2021-12-23 09:52:35 · 492 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(九)】——知识图谱的应用
目前知识图谱技术主要用于智能语义搜索、移动个人助理(如Google Now,Apple Siri等)以及深度问答系统(如IBM Watson,Wolfram Alpha等)。深度问答应用系统首先在知识图谱的帮助下对用户自然语言提出的问题进行语义分析和语法分析,进而将其转化成结构化形式的查询语言,然后在知识图谱中查询答案。对知识图谱的查询通常采用基于图的查询语言(SPARQL)。基于知识图谱的问答系统a)基于信息检索的问答系统先将问题转变为一个基于知识库的结构化查询,从知识库中查询与问题中(抽取的)原创 2021-12-23 09:50:04 · 1374 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(八)】——知识更新
从逻辑上看,知识库的更新包括概念层的更新和数据层的更新。更新的两种方式:数据驱动下的全面更新增量更新原创 2021-12-23 09:47:36 · 2457 阅读 · 1 评论 -
知识图谱:【知识图谱基础理论(七)】——知识加工
通过信息抽取和知识融合得到的事实表达并不等于知识,需经过知识加工最终获得结构化、网络化的知识体系。主要包括:本体构建,知识推理,质量评估。本体构建本体(ontology)是对概念进行建模的规范,是描述客观世界的抽象模型,以形式化方式对概念及其之 间的联系给出明确定义。知识推理从知识库中已有的实体关系数据出发,经过计算机推理,建立实体间的新关联,从而拓展和丰富知识网络。是知识图谱构建的重要手段和关键环节。知识推理方法:a)基于逻辑的推理i)一阶谓词推理ii)描述逻辑iii)基于规则的推理原创 2021-12-23 09:45:17 · 2391 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(六)】——知识融合
通过信息抽取得到的信息中可能存在着冗余和错误信息,数据间的关系扁平化,缺乏层次性和逻辑性。知识融合对这些数据进行清理和整合,确保知识质量。包括:实体链接和知识合并。实体链接指对于从文本中抽取得到的实体对象,将其链接到知识库中对应的正确实体对象的操作:实体链接的一般流程从文本中通过实体抽取得到实体指称项。进行实体消歧和共指消解,判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义。在确认知识库中对应的正确实体对象后,将该实体指称项链接到知识库中对应实体。原创 2021-12-23 09:41:27 · 1279 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(五)】——知识抽取
信息抽取是一种自动化地从半结构化或非结构化数据中抽取实体、关系以及实体属性等结构化信息的技术。关键技术包括:实体抽取、关系抽取和属性抽取:• 实体抽取(命名实体识别NER)○ 指从文本数据集中自动识别出命名实体。• 关系抽取○ 实体抽取得到的是离散的命名实体,还需要从相关语料中提取出实体之间的关系。○ 关系抽取就是解决如何从文本语料中抽取实体间关系。• 属性抽取○ 属性抽取的目标是从不同信息源中采集特定实体的属性信息。由于可以将实体的属性视为实体与属 性值之间的一种名词性关系,因此也可以将属原创 2021-12-23 09:34:18 · 1260 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(四)】——知识图谱的构建技术
原创 2021-12-23 09:31:56 · 461 阅读 · 0 评论