Deeplearning
文章平均质量分 94
秃然变强了
这个作者很懒,什么都没留下…
展开
-
Prompt Learning 简介
• Prompt Learning 可以将所有的任务归一化预训练语言模型的任务• 避免了预训练和fine-tuning 之间的gap,几乎所有 NLP 任务都可以直接使用,不需要训练数据。• 在少样本的数据集上,能取得超过fine-tuning的效果。• 使得所有的任务在方法上变得一致。原创 2023-01-13 03:01:13 · 10355 阅读 · 0 评论 -
深度学习NLP-词向量篇(含代码实现)
本文是最近学习了斯坦福大学的NLP课程CS224N,和一些相关教程后,整理出来的一篇关于词向量的学习笔记。主要记录了关于词向量的产生,关于计数的词向量生成法,基于分布的词向量生成法(Cbow,Skip-gram,GloVe),和一些相关知识。一、词嵌入的简介语言模型在计算机学科里,一个语言模型往往指的是使用一种知识表达的方法,通过计算一个单词/句子产生的概率来表达一种语言规律。传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同,比如“番茄”和“西红柿”。这给所有NLP原创 2020-06-14 23:16:25 · 3667 阅读 · 0 评论 -
知识图谱与文本生成
文本生成在自然语言处理领域一直属于热门研究领域。生成文本任务比信息抽取和文本分类等问题要更加困难,收到了学界的广泛关注。受到深度神经网络的影响,许多文本生成模型模型被研发,有基于机器翻译的Seq2Seq框架,有纯数据驱动模型,也有融合了知识图谱信息的知识驱动模型。本文介绍的是一些融合了知识图谱信息的知识驱动文本生成模型。几个Seq2Seq文本生成框架Pointer Networks本文试图利用seq2seq处理特定的序列问题。我们已经提到,传统seq2seq结构的输出由类似词汇表的某个元素映射表确定,原创 2020-06-13 15:26:42 · 6278 阅读 · 0 评论 -
自然语言处理中的小样本数据问题-数据增强与半监督学习模型
本文借鉴了NLP中的少样本困境问题探究,记录读后笔记和感想。目标:我们希望采取相关数据增强或弱监督技术后在少样本场景下,比起同等标注量的无增强监督学习模型,性能有较大幅度的提升;在少样本场景下,能够达到或者逼近充分样本下的监督学习模型性能;在充分样本场景下,性能仍然有一定提升;一、NLP文本增强文本增强根据是否依据文本的标签做数据增强分为无条件的文本增强,和有条件的文本增强。无条件文本增强词汇短语替换:基于词典的同义词替换(EDA:Easy Data Augmentation),基原创 2020-06-11 14:19:04 · 5477 阅读 · 0 评论 -
知识图谱的构建与质量评估
本文由知识图谱的结构构建,实体抽取,实体关系和属性抽取,知识图谱评估,知识图谱精炼六个部分组成。一、知识图谱构建知识图谱在目前知识体系中的三种组织分类:Ontology:树状结构,关系是严格的IsA关系,便于知识推理,但没法表达出概念和关系的多样性Taxonomy:树状结构,关系包含一般的上位词-下位词关系(Hypernym-Hyponym),关系的丰富影响了知识推理的难度,易造成歧义。Taxonomy也是我们当前最常用的知识图谱分类方法。Folksonomy:非层级的结构,全部节点以标签分类,原创 2020-06-07 15:14:01 · 13466 阅读 · 0 评论 -
几个与BERT相关的预训练模型分享-ERNIE,XLM,LASER,MASS,UNILM
基于Transformer的预训练模型汇总1. ERNIE: Enhanced Language Representation with Informative Entities(THU)特点:学习到了语料库之间得到语义联系,融合知识图谱到BERT中,本文解决了两个问题,structured knowledge encoding 和 Heterogeneous Information Fusion(如何融合语言的预训练向量空间和知识表征的向量空间)因此,本文提出了同时在大规模语料库和知识图谱上预训练语原创 2020-06-03 20:32:45 · 2148 阅读 · 0 评论 -
图像数据增强读书笔记
A Survey on Image Data Augmentation for deep learningRef:1. A survey on Image Data Augmentation for Deep Learning2. Generative Adversarial Network in Medical Imaging- A Review1. 目的是解决过拟合问题常用方法有:Dropout Batch normalization 等正则化方法Transfer learning, p原创 2020-06-02 21:52:37 · 1755 阅读 · 0 评论 -
18-19基于预训练的语言模型对比
18-19年基于预训练的语言模型对比ref:后BERT时代:15个预训练模型对比分析与关键点探究1. 模型对于长距离依赖的处理能力Transformer-XL > Transformer > RNNs > CNNs2. 前馈/循环网络 or 串行/并行计算MLP/CNNs/Transformer:前馈/并行RNNs/ Transformer-XL:循环/串行3. 自回归vs自编码自回归:文本序列联合概率的密度估计,为传统语言模型,天然适合处理文本生成任务。问题是文本序列是有原创 2020-05-25 19:39:37 · 1488 阅读 · 0 评论 -
可建模语义分层的KG embedding for relation/link completion
可建模语义分层的KG embedding for relation/link completion1. Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction知识图谱补全的方法可分为三种:基于距离的模型双线性模型神经网络模型本文属于第一种,基于距离的模型,这类模型可以建模互逆,对称与复合等不同的...原创 2020-05-05 01:05:48 · 1800 阅读 · 0 评论 -
BERT的应用和反思
BERT如何应用在不同NLP任务中以及对于BERT的反思reference:Bert时代的创新(应用篇):Bert在NLP各领域的应用进展1.question answering问答系统中所需的答案在文本中,所以在NLP基础模型技术有较大提升时,此类问题收益较大。更偏向语义匹配。2.Information Retrieval信息检索任务中同样做的是Query和给定文本的匹配任务,但是IR更加...原创 2020-05-04 00:45:39 · 1619 阅读 · 0 评论 -
论文笔记:NLP之BERT,ERNIE(pre-training 模式在NLP任务中的使用)
论文笔记:BERT的原理与应用,ERNIE的原理和进化历程ref:详解ERNIE-Baidu进化史及应用场景Bert时代的创新:Bert应用模式比较及其它从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史1. BERT:...原创 2020-04-30 16:32:41 · 1773 阅读 · 0 评论 -
论文笔记:NLP之Attention is all you need
论文笔记:NLP之Attention is all you need. Transformer 的结构与特点ref:1.Step-by-step to Transformer:深入解析工作原理(以Pytorch机器翻译为例)2.How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models1. t...原创 2020-04-28 18:10:46 · 1411 阅读 · 0 评论