NLP
文章平均质量分 94
秃然变强了
这个作者很懒,什么都没留下…
展开
-
Prompt Learning 简介
• Prompt Learning 可以将所有的任务归一化预训练语言模型的任务• 避免了预训练和fine-tuning 之间的gap,几乎所有 NLP 任务都可以直接使用,不需要训练数据。• 在少样本的数据集上,能取得超过fine-tuning的效果。• 使得所有的任务在方法上变得一致。原创 2023-01-13 03:01:13 · 10353 阅读 · 0 评论 -
深度学习NLP-词向量篇(含代码实现)
本文是最近学习了斯坦福大学的NLP课程CS224N,和一些相关教程后,整理出来的一篇关于词向量的学习笔记。主要记录了关于词向量的产生,关于计数的词向量生成法,基于分布的词向量生成法(Cbow,Skip-gram,GloVe),和一些相关知识。一、词嵌入的简介语言模型在计算机学科里,一个语言模型往往指的是使用一种知识表达的方法,通过计算一个单词/句子产生的概率来表达一种语言规律。传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同,比如“番茄”和“西红柿”。这给所有NLP原创 2020-06-14 23:16:25 · 3640 阅读 · 0 评论 -
知识图谱与文本生成
文本生成在自然语言处理领域一直属于热门研究领域。生成文本任务比信息抽取和文本分类等问题要更加困难,收到了学界的广泛关注。受到深度神经网络的影响,许多文本生成模型模型被研发,有基于机器翻译的Seq2Seq框架,有纯数据驱动模型,也有融合了知识图谱信息的知识驱动模型。本文介绍的是一些融合了知识图谱信息的知识驱动文本生成模型。几个Seq2Seq文本生成框架Pointer Networks本文试图利用seq2seq处理特定的序列问题。我们已经提到,传统seq2seq结构的输出由类似词汇表的某个元素映射表确定,原创 2020-06-13 15:26:42 · 6277 阅读 · 0 评论 -
自然语言处理中的小样本数据问题-数据增强与半监督学习模型
本文借鉴了NLP中的少样本困境问题探究,记录读后笔记和感想。目标:我们希望采取相关数据增强或弱监督技术后在少样本场景下,比起同等标注量的无增强监督学习模型,性能有较大幅度的提升;在少样本场景下,能够达到或者逼近充分样本下的监督学习模型性能;在充分样本场景下,性能仍然有一定提升;一、NLP文本增强文本增强根据是否依据文本的标签做数据增强分为无条件的文本增强,和有条件的文本增强。无条件文本增强词汇短语替换:基于词典的同义词替换(EDA:Easy Data Augmentation),基原创 2020-06-11 14:19:04 · 5471 阅读 · 0 评论 -
知识图谱与问答系统-论文分享两则
论文一:Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring论文链接:https://arxiv.org/pdf/1912.00879.pdf本文主要聚焦问答系统(Q&A)的反问题—问题生成(Question Generation,Q&G)。问题生成的目的是在给定上下文和相应答案的情况下生成语义相关的问题,问题生成任务可分为两类:一类是基于规则的方原创 2020-06-10 16:27:26 · 2015 阅读 · 0 评论 -
知识图谱的构建与质量评估
本文由知识图谱的结构构建,实体抽取,实体关系和属性抽取,知识图谱评估,知识图谱精炼六个部分组成。一、知识图谱构建知识图谱在目前知识体系中的三种组织分类:Ontology:树状结构,关系是严格的IsA关系,便于知识推理,但没法表达出概念和关系的多样性Taxonomy:树状结构,关系包含一般的上位词-下位词关系(Hypernym-Hyponym),关系的丰富影响了知识推理的难度,易造成歧义。Taxonomy也是我们当前最常用的知识图谱分类方法。Folksonomy:非层级的结构,全部节点以标签分类,原创 2020-06-07 15:14:01 · 13439 阅读 · 0 评论 -
基于BERT的多模态应用:图像,视频如何通过BERT处理
基于BERT的多模态应用:图像,视频如何通过BERT处理本次分享的是结合了预训练的语言模型BERT和视觉方面的结合。1. VideoBERT: A Joint Model for Video and Language Representation Learning视频+文本的训练方法通过automatic speech recognition (ASR)模块和vector quantization(VQ)模块,加上BERT形成整个模型。其中ASR模块是用来识别语音的神经网络模块,用来将视频中的语音翻原创 2020-06-03 22:16:51 · 4126 阅读 · 0 评论 -
知识图谱在人工智能中的应用与思考
知识图谱在人工智能中的应用与思考1. 人工智能是为了解决生产力升级的问题人类的生产力可以分为知识生产力,劳动生产力。人工智能可以从两个方面加速生产力的提升。人工智能又可以分为感知型智能,认知性智能,行为智能。一般来讲,计算机视觉识别,语音识别等识别问题都可以归结到感知性智能中。认知性智能包含自然语言理解(NLU),自然语言生成(NLG),知识推理(reasoning)等领域。行为智能主要聚焦在智能体的行动上,一般指的是具有感知和认知能力的机器人的行为。2.人工智能的”三个主义“现代的人工智原创 2020-06-03 21:35:12 · 4182 阅读 · 1 评论 -
几个与BERT相关的预训练模型分享-ERNIE,XLM,LASER,MASS,UNILM
基于Transformer的预训练模型汇总1. ERNIE: Enhanced Language Representation with Informative Entities(THU)特点:学习到了语料库之间得到语义联系,融合知识图谱到BERT中,本文解决了两个问题,structured knowledge encoding 和 Heterogeneous Information Fusion(如何融合语言的预训练向量空间和知识表征的向量空间)因此,本文提出了同时在大规模语料库和知识图谱上预训练语原创 2020-06-03 20:32:45 · 2143 阅读 · 0 评论 -
18-19基于预训练的语言模型对比
18-19年基于预训练的语言模型对比ref:后BERT时代:15个预训练模型对比分析与关键点探究1. 模型对于长距离依赖的处理能力Transformer-XL > Transformer > RNNs > CNNs2. 前馈/循环网络 or 串行/并行计算MLP/CNNs/Transformer:前馈/并行RNNs/ Transformer-XL:循环/串行3. 自回归vs自编码自回归:文本序列联合概率的密度估计,为传统语言模型,天然适合处理文本生成任务。问题是文本序列是有原创 2020-05-25 19:39:37 · 1486 阅读 · 0 评论 -
知识图谱融合与知识图谱对齐Summary
Summary of Knowledge graph combination and KG alignmentRef:多知识图谱的融合算法探索1. 知识融合的常见问题数据质量问题:命名模糊,数据输入错误,数据都市,数据格式不一致,缩写问题数据规模问题:数据量过大,或数据量过小。数据种类多样性。在知识图谱对齐的时候,我们不仅通过实体名匹配,也会使用多种关系,链接,图谱层次。2. 知识融合(对齐)的常见步骤数据预处理:1) 语法正规化 2) 数据正规化记录链接:把实体通过相似度进行连接相似度计原创 2020-05-08 19:34:09 · 6915 阅读 · 0 评论 -
可建模语义分层的KG embedding for relation/link completion
可建模语义分层的KG embedding for relation/link completion1. Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction知识图谱补全的方法可分为三种:基于距离的模型双线性模型神经网络模型本文属于第一种,基于距离的模型,这类模型可以建模互逆,对称与复合等不同的...原创 2020-05-05 01:05:48 · 1799 阅读 · 0 评论 -
BERT的应用和反思
BERT如何应用在不同NLP任务中以及对于BERT的反思reference:Bert时代的创新(应用篇):Bert在NLP各领域的应用进展1.question answering问答系统中所需的答案在文本中,所以在NLP基础模型技术有较大提升时,此类问题收益较大。更偏向语义匹配。2.Information Retrieval信息检索任务中同样做的是Query和给定文本的匹配任务,但是IR更加...原创 2020-05-04 00:45:39 · 1619 阅读 · 0 评论 -
论文笔记:NLP之BERT,ERNIE(pre-training 模式在NLP任务中的使用)
论文笔记:BERT的原理与应用,ERNIE的原理和进化历程ref:详解ERNIE-Baidu进化史及应用场景Bert时代的创新:Bert应用模式比较及其它从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史1. BERT:...原创 2020-04-30 16:32:41 · 1770 阅读 · 0 评论 -
论文笔记:NLP之Attention is all you need
论文笔记:NLP之Attention is all you need. Transformer 的结构与特点ref:1.Step-by-step to Transformer:深入解析工作原理(以Pytorch机器翻译为例)2.How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models1. t...原创 2020-04-28 18:10:46 · 1410 阅读 · 0 评论