文本摘要
文章平均质量分 71
仲夏199603
这个作者很懒,什么都没留下…
展开
-
抽取式文档摘要方法(二)
1、基于有监督学习的方法可考虑众多因素,由机器学习算法确定句子重要性 句子分类 二类分类:句子是否隶属于摘要 SVM(支持向量机) 序列标注 为每个句子打上标签 可考虑相邻句子之间的关系 HMM(隐马尔科夫模型),CRF(条件随机场) 句子回归 为每个句子预测一个反映重要性的分数 SVR(支持向量回归)2、基于神经网络的方法 基于编码器-解码器框架进行单文档摘要 编码器:翻译 2017-11-29 13:17:28 · 4778 阅读 · 0 评论 -
LSTM
1、对于长时依赖问题循环神经网络难以记忆长时间的信息。 LSTM长短时记忆网络能在一定程度上解决长时依赖问题。2、输入门、遗忘门和输出门输入门控制着网络的输入 遗忘门控制着记忆单元 输出门控制着网络的输出遗忘门的作用就是决定以前的哪些记忆将被保留,哪些记忆将被遗忘,正是由于遗忘门的作用,LSTM有了长期记忆的功能。对于给定的功能,遗忘门能够自己学习保留多少以前的记忆。3、遗忘门——记忆衰减系数原创 2017-12-10 11:18:26 · 2728 阅读 · 0 评论 -
序列到序列的网络seq2seq
1、seq2seq使用两个循环神经网络,将一个语言序列直接转换到另一个语言序列。2、序列到序列的模型是循环神经网络的升级版,其联合了两个循环神经网络。一个神经网络负责接收源句子;另一个循环神经网络负责将句子输出成翻译的语言。这两个过程分别称为编码和解码的过程。示意图如下: 3、编码编码过程实际上使用了循环神经网络记忆的功能,通过上下文的序列关系,将词向量依次输入网络。对于循环神经网络,每一次网络都原创 2017-12-10 15:38:34 · 8874 阅读 · 1 评论 -
tensorflow seq2seq代码学习
转载博客:http://blog.csdn.net/thriving_fcl/article/details/74165062相关代码如下(自己加了些注释):# -*- coding: utf-8 -*-import tensorflow as tffrom tensorflow.contrib.seq2seq import *from tensorflow.python.layers.core转载 2017-12-15 13:16:01 · 1436 阅读 · 0 评论 -
BLEU算法——机器翻译自动评估
BLEU:bilingual evaluation understudy , 即双语互译质量评估辅助工具,用来评估机器翻译的质量。BLEU的设计思想:机器翻译结果越接近人工翻译的结果,则越好。BLEU算法的设计:判断两个句子的相似程度,将句子的标准人工翻译和机器翻译的结果做比较,如果很相似,则说明翻译很成功。BLEU判断方法:一句机器翻译的话与其相对应的几个参考翻译作比较,算出一个综合分数。分数越高转载 2017-12-19 16:28:51 · 2673 阅读 · 0 评论 -
在Linux环境下配置pyrouge
1、首先需要安装rouge 具体安装方式见如下博客: http://blog.csdn.net/Hay54/article/details/78744912 2、需要安装及配置pyrouge http://blog.csdn.net/MerryCao/article/details/49174283 pyrouge本身是有bug的,所以很恶心,需要自己改一下…基本完成windows下安装p转载 2018-01-07 13:46:57 · 5364 阅读 · 0 评论 -
pointer-network代码结构
1、在model的add_decoder中调用了attention_decoder 在run_beam_search中调用了model中的decode_onestep 在训练时不需要光速解码,测试时才需要光速解码2、attention机制的使用 attention是指在解码的每一步对输入序列的中的每个单词计算一个attn_dist(atata^{t}),通过将attn_dist和enco...原创 2018-04-04 19:20:31 · 2160 阅读 · 1 评论 -
关于Rouge和pyrouge的安装和使用
原文链接 1、pyrouge介绍:https://github.com/abisee/pointer-generator 2、pyrouge介绍:https://pypi.python.org/pypi/pyrouge 3、使用pyrouge前,需要安装好rouge. 4、这个链接里有相应的安装工教程和工具:https://blog.csdn.net/qq_32458499...转载 2018-05-11 15:21:54 · 10903 阅读 · 3 评论