自然语言处理
执笔论英雄
这个作者很懒,什么都没留下…
展开
-
预训练模型学习
原文:https://zhuanlan.zhihu.com/p/159620066原创 2021-04-29 10:19:14 · 97 阅读 · 0 评论 -
学习笔记 -- 2021 图预训练 --Learning to Pre-train Graph Neural Networks
系列文章目图形神经网络(GNNs)已经成为图表示学习的实际标准,它通过递归地聚集来自图形邻域的信息来获得有效的节点表示。虽然GNNs可以从头开始训练,但是最近已经证明,对神经网络进行预训练以学习用于下游任务的可转移知识可以提高技术水平。文章目录系列文章目摘要一背景二、使用步骤1.引入库摘要传统的GNN预训练方法遵循两步范式:对大量未标记数据进行预训练对下游标记数据进行微调由于这两步中优化目标的差异,两者之间存在显著的差距。在本文中,我们分析了预训练和微调之间的差异,为了缓解这种差异.原创 2021-01-27 20:44:16 · 783 阅读 · 0 评论 -
2019 acl Incorporating Syntactic and Semantic Information in Word Embeddings using GCN
the author propose SynGCN, a Graph CNN for learning word embeddings , utilizing syntacitc context without increasing vocabulary size.present SemGCN framework for corporating diverse semantic knowlege(e.g., synonymy, antonymy, hyponymy(上下位关系, etc.)Final原创 2021-01-19 16:09:54 · 262 阅读 · 0 评论 -
Graph Transformer Networks
Graph Transformer Networks 通过自动选择元路径以端到端的方式实现异构图特征表示。原创 2021-01-14 17:22:23 · 269 阅读 · 0 评论 -
Relation extraction文章
Others2018No.FigureTitleAuthorsPub.Links5CASREL:A Novel Cascade Binary Tagging Framework for Relational Triple ExtractionKun Ho Kim, Oisin Mac Aodha, Pietro PeronaCVPR 2018 (Spotlight)paper4[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xk原创 2020-06-12 07:58:29 · 771 阅读 · 0 评论 -
wordvector
学习 https://www.cnblogs.com/marsggbo/p/10183441.html原创 2020-03-05 08:03:39 · 153 阅读 · 0 评论 -
GloVe: Global Vectors for Word Representation必记
关于算法原理参考:下面是Relation with skip gramskip gram:接下来在整个corPus 中训练:但在vast corpus 难以求所有的Qi,jQ_{i,j}Qi,j,采用近似但对于两分布中的交叉熵损失是有弊端的:即低概率高权值并且上式中的Qi,jQ_{i,j}Qi,j还是难以normalized,因此不归一化带来的问题是Qhat,Pha...原创 2020-03-04 11:41:32 · 189 阅读 · 0 评论 -
Convolutional Sequence to Sequence Learning学习心得
为什么使用CNN学习序列表示和RNN相比,CNN产生的背景向量固定并且通过stacking 可以使 contex size 更大,如下图。和RNN相比,CNN产生的背景向量固定并且通过stacking 可以使 contex size 更大,如上图。Hierarchy representation如图1,只需要三次CNN operation ,而需要 7 次 r...原创 2020-02-18 16:25:43 · 576 阅读 · 0 评论 -
Sequence to Sequence Learning with Neural Networks学习笔记
论文的主要创新点提出了序列到序列的学习方法提出的背景DNN的限制:输入和输出向量维度固定,实际上很多序列问题中的序列长度不是已知先验单个RNN 的限制:输入和输出等长,且要一一对齐且对齐已知,无法应用到输入输出不等长且对应关系为非montonic解决方案两个RNN理论可行一个负责将输入充列map 为固定大小的vector(背景向量,含有整个输入句子的信息),另一个RNN将背景向列...原创 2020-02-17 16:44:20 · 268 阅读 · 0 评论 -
自然语言处理(机器翻译IBM模型 系列)
机器翻译方法概述直接转换法基于规则的翻译方法基于中间语言的翻译方法基于语料库的翻译方法- 基于事例的翻译方法- 统计翻译方法- 神经网络机器翻译基于规则的翻译过程分成6个步骤:(a) 对源语言句子进行词法分析(b) 对源语言句子进行句法/语义分析© 源语言句子结构到译文结构的转换(d) 译文句法结构生成(e) 源语言词汇到译文词汇的转换(f ) 译文词法选择与生成...原创 2019-12-25 16:29:35 · 3388 阅读 · 0 评论 -
word2vec Parameter Learning Explained(Hierarchical Softmax,Negative Sampling)
主要思想是转化为Huffman tree 的随机游走,叶子结点词描述的概率,不需要遍历所有的V,只需要log(V)的时间主要思想是从噪声分布来采取一些negative 样本...原创 2019-12-23 16:43:54 · 125 阅读 · 0 评论 -
自然语言处理情感分析(第二十讲)
课件来源:清华大学刘洋老师文章目录情感分析定义观点定义基于词典的情感分析情感词典如何计算短语的极性基于有监督学习的情感分析任务定义基于NB情感分析总结情感分析定义观点定义基于词典的情感分析情感词典如何计算短语的极性PMI = Pointwise Mutual Information(点间互信息)PMI > 0;两个词语是相关的;值越大,相关性越强。PMI = 0;...原创 2019-12-14 09:55:56 · 478 阅读 · 0 评论 -
自然语言处理翻译模型(第十九讲)
https://blog.csdn.net/yaoqiang2011/article/details/10299787 经过第三步抽取短语后,获得基于短语系统使用的翻译短语对,而接下来的第四步就是短语翻译表概率估计,它的作用是对翻译短语对的正确性进行合理的评估。 在上一节,我们得...原创 2019-12-03 21:46:11 · 740 阅读 · 0 评论 -
NLP
但是自然语言中有很多的歧义两个人无法沟通,通过实体来沟通,这个实体就是词组降龙十八掌什么意思,心理图像,大脑图像或思想作为意义该理论认为,词或词组的意义就是词或词组在人心理上或大脑中所产生的图像。问题:在计算机中把心理图像有效地表示出来并不是一件容易的事情,而且,不一定所有的词义都有清晰的心理图像。第三每个人的心理图像还是不一样的能穿多少,应穿多少语义网络红:内涵:红外延:...原创 2019-11-15 17:01:48 · 80 阅读 · 0 评论 -
第九章 句法分析(2)
一、依存句法分析L. Tesnière 的理论认为: 一切结构句法现象可以概括为关联(connexion)、组 合(jonction)和转位(tanslation)这三大核心。句法关联建立起词与词之间的从属关系,这种从属关系是由支配词和从属词联结而成; 动词是句子的中心,并支配其他成分,它本身不受其他任何成分的支配。 欧洲传统的语言学突出一个句子中主语的地位,句中其它成分称为“谓...原创 2019-11-10 16:05:01 · 1733 阅读 · 1 评论