Wangpeiyi9979的博客

score(adji,aspect)=W[P(d1);P(d2);hadji;haspect]+bscore(adj_i, aspect) = W[P(d_1); P(d_2);h_{adj_i}; h_{aspect}] + bscore(adji​,aspect)=W[P(d1​);P(d2​);hadji​​;haspect​]+baadji=expscore(adji,aspect)∑j=1Kexpscore(adjj,aspect)a_{adj_i}=\frac{exp^{score(adj_i

对于无监督学习来说，互信息是一个非常重要的指标，它衡量了两个随机变量之间的相关性。在无监督学习中，利用对互信息的优化，通常我们能够得到更加好的特征表示。要做什么特征抽取是无监督学习的重要部分，旨在对大量的无标注数据样本进行训练，最后能够得到一个编码器E，将每一个样本XXX编码为一个好的向量表示zzz，那么如何衡量这个表示是否好呢？自编码器(AutoEncoder)告诉我们, 希望编码出的向量能够重构原始样本。因此我们在加入一个解码器D, 将重构的X′X'X′与XXX做Mse loss。但是这样的想法

You shall know a word by the company it keeps ——J. R. Firth 1957: 11(开创现代统计NLP的核心思想)”

近日研读了一篇发表在ICLR 2018上的文章:《LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS》, 其介绍了一种能够将二维张量以可微分的形式转变为转置矩阵的方法。使得指派、重排等不可微分操作能够以可微分的形式结合到神经网络当中。由此，我们便可使BP算法学习这些操作，以实现神经网络的数字排序、拼图等算法。BP之痛直面评价...

文章目录一、任务定义二、数据集三、评价指标3.1、检索类3.2 生成类3.2.1 词重叠评价指标3.2.2 词向量评价指标四、相关文章五、参考一、任务定义阅读理解任务根据答案类型，可以分为如下四种形式：完形填空：给定上下文CCC,一个词或者实体a∈Ca \in Ca∈C被移除，预测aaa, 即最大化条件概率P(a∣C−{a})P(a | C-\{a\})P(a∣C−{a}).多项选择：...

文章目录示例代码解释示例代码from sklearn.metrics import roc_curve, aucimport matplotlib as mpl import matplotlib.pyplot as pltplt.figure(figsize=(15, 10))def plot_roc(labels, predict_probs, titles): c...

文章目录一、任务定义二、数据集三、评价指标四、相关文章一、任务定义语义分析旨在将自然语言映射为机器可解释语言(如逻辑形式、SQL、Python等)。二、数据集暂略三、评价指标四、相关文章序号会议作者论文阅读笔记源码复现创新点[1]XAishwarya KamathA Survey on Semantic Parsing暂无无对语义分析的综述文...

文章目录样例代码：解释样例代码：plt.figure(figsize=(10, 2))plt.subplots_adjust(bottom=0, left=.01, right=.99, top=.90, hspace=.35)for idx, inp in enumerate(show_dogs): inp_origin = inp[0].numpy().transpose(...

文章目录图示代码图示代码import matplotlib.pyplot as plt import numpy as npdef plot_epoch_for_performance_and_loss(model_name, res_dict): """Function: 评价指标以及训练集...

文章目录TF-IDFTF-IDFl理论：TF-IDF与余弦相似性的应用实践： 使用不同的方法计算TF-IDF值

文章目录一、摘要二、模型三、实验结果一、摘要以前我们已经提到过一篇结合字典进行中文命名实体识别的文章《Chinese NER Using Lattice LSTM》. 这个方法能够一定程度解决分词错误。然而，这个方法有一个重要的缺陷，就是效率低下，其在源码的issue中也提到了，目前竟然不支持并行化。因此，这篇文章希望设计出一种更加有计算效率的方式。二、模型该论文主要是在底层字和词的表示上...

文章目录一、摘要二、模型1、构图2、GGNN三、实验结果一、摘要文章提出了一种基于图神经网络并结合多种词典的命名实体识别方法，主要的新意是让模型自动去学习词典的特征，而不是像《Incorporating dictionaries into deep neural networks for the Chinese clinical NER》那样基于人工的策略去构建。二、模型1、构图首先根...

文章目录一、摘要二、简介三、方法词袋模型编码器CNN编码器四、实验结果一、摘要文章提出了一种结合【实体外部描述】和【三元组】的知识图谱表示学习方法。在【知识图谱补全】和【实体分类】两个任务上取得了很大的提升。并且很重要的一点是，该方法能够自然地解决【实体不在图谱中的问题】。二、简介文章使用了两种表示方法进行知识图谱表示：基于结构的表示方法，如Trans-E等。基于描述的表示方法，利用...

文章目录一、任务定义二、数据集三、评测方法四、相关论文一、任务定义Representation learning (RL) of knowledge graphs aims to project bothentities and relations into a continuous low dimensional space。二、数据集表示学习一般作为其他任务的前置任务，比如【知识...

文章目录摘要一、模型二、结果三、疑惑摘要文章设计了一种利用外部词典加强命名实体识别的方法，整个模型大致分为【Inner-Region Encoder】、【Attentive Context Encoder】、【Utterance Encoder】三个部分， 模型概略图如下所示：该模型有助于解决缺乏训练数据的场景一、模型【Inner-Region Encoder】: 对应模型图的(a)部...

文章目录摘要一、简介指导性结论摘要文章提出了一种将【字】和所有【潜在词组】作为输入的模型。其有以下优势：对于基于字的方法：模型利用了词组的信息对于基于词的方法：模型设计了门控机制，解决了分词错误问题。一、简介文章为了在避免分词错误的情况下利用词信息，设计了一种Lattice LSTM的结构，其可以自动学习一些词组，作为输入。示意图如下：指导性结论对于中文NER来说，基于字符...

文章目录摘要一、简介二、相关工作三、模型四、融合词典信息N-Gram FeaturePIPEPDET五、融合结构六、实验结果摘要融合了字典到深度神经网络中，解决了一些稀有实体不能被识别的问题。一、简介对每个中文字符，基于字典和上下文设计了5种不同的Schemes来创建特征向量。介绍了两种结构融合特征向量和字的Embedding向量二、相关工作现有工作可分为四类：(1)基于规则的。(2...

文章目录摘要一、简介二、知识分类2.1 Knowledge Agnostic(A)2.2 Name-Based Knowledge (Name)2.3 Knowledge-Base-Based Knowledge (KB)2.4 Entity-Based Knowledge (Entity)摘要文章提出了一种框架，其将用于命名实体识别的【Knowledge】划分为了4类。一、简介文章试图【...

文章目录一、任务定义二、数据集三、评测方法四、相关工作一、任务定义命名实体识别(NER)是指识别文本中具有特定意义的实体。比如以下句子乔布斯离开了苹果NER系统应该能够识别出【乔布斯】和【苹果】两个实体，并标记【乔布斯】为【人】， 【苹果】为【公司】二、数据集三、评测方法命名实体识别一般分为两种评测方法，一种是严格匹配，一种是松弛匹配。比较公认的是第一种。即：边界完全匹配，而且...

前言：因为实习接触到了命名实体识别的问题，因此打算调研一下相关方法。即有了这篇综述的论文《A Survey on Deep Learning for Named Entity Recognition》的阅读笔记文章目录一、摘要二、简介命名实体命名实体识别方法命名实体识别任务种类资源三、命名实体识别中的深度学习输入的分布式表示一、摘要此文章讲解了4个方面的问题。1、现有的NER资源与工具...