机器学习
仲夏199603
这个作者很懒,什么都没留下…
展开
-
抽取式文档摘要方法(二)
1、基于有监督学习的方法可考虑众多因素,由机器学习算法确定句子重要性 句子分类 二类分类:句子是否隶属于摘要 SVM(支持向量机) 序列标注 为每个句子打上标签 可考虑相邻句子之间的关系 HMM(隐马尔科夫模型),CRF(条件随机场) 句子回归 为每个句子预测一个反映重要性的分数 SVR(支持向量回归)2、基于神经网络的方法 基于编码器-解码器框架进行单文档摘要 编码器:翻译 2017-11-29 13:17:28 · 4742 阅读 · 0 评论 -
pytorch对可变序列的处理
http://www.cnblogs.com/lindaxin/p/8052043.html转载 2017-12-19 10:45:14 · 1477 阅读 · 0 评论 -
tensorflow seq2seq代码学习
转载博客:http://blog.csdn.net/thriving_fcl/article/details/74165062相关代码如下(自己加了些注释):# -*- coding: utf-8 -*-import tensorflow as tffrom tensorflow.contrib.seq2seq import *from tensorflow.python.layers.core转载 2017-12-15 13:16:01 · 1406 阅读 · 0 评论 -
pytorch入门(二)——自动求导函数
1、定义变量import torchfrom torch.autograd import Variablex = Variable(torch.ones(2,2),requires_grad=True)其中变量x会有一个grad空间y = x+1print(y.grad_fn)y会有一个grad_fn空间2、反向传播求导 1)输出结果为一维时z = y原创 2017-12-06 11:21:17 · 2033 阅读 · 0 评论 -
potorch入门(一)
1.在gpu上运行程序if torch.cuda.is_available(): x = x.cuda() y = y.cuda() x + y2、定义一个矩阵x = torch.rand(5, 3)print(x)或者x = torch.Tensor(5,3)得到尺寸x.size()3、将torch Tensor转变成numpy arraya = torch.ones原创 2017-12-06 10:48:53 · 511 阅读 · 0 评论 -
tensorflow学习笔记:LSTM 与 GRU
转载地址:http://blog.csdn.net/u012436149/article/details/52887091基本LSTMtensorflow提供了LSTM实现的一个basic版本,不包含lstm的一些高级扩展,同时也提供了一个标准接口,其中包含了lstm的扩展。分别为:tf.nn.rnn_cell.BasicLSTMCell(), tf.nn.rnn_cell.LSTMCell()LS转载 2017-12-14 20:06:41 · 612 阅读 · 0 评论 -
用tensorflow实现单词预测问题with LSTM
**本程序需要用到tensorflow的model库,然而在tensorflow 1 以后的版本就不自动安装model模块了,需要自己单独安装。# -*- coding: utf-8 -*-import numpy as npimport tensorflow as tffrom tensorflow.models.rnn.ptb import readerDATA_PATH = "/F/jhq原创 2017-12-14 19:18:04 · 2093 阅读 · 3 评论 -
tensorflow变量管理
1、tensorflow提供了通过变量名称来创建或获取一个变量的机制。通过这个机制,在不同的函数中可以直接使用变量的名称来使用变量,而不需要将变量通过参数的形式到处传递。2、tensorflow中获取变量主要是通过tf.get_variable和tf.variable_scope函数实现的。#下面这两个定义是等价的v = tf.get_variable("v", shape=[1], initia原创 2017-12-13 11:00:04 · 592 阅读 · 0 评论 -
TensorFlow全新的数据读取方式:Dataset API——tf.data.Dataset
转载博客地址: https://baijia.baidu.com/s?id=1583657817436843385&wfr=pc&fr=new_lst一、Tensorflow读入数据的三种方式 1)Feeding:Python代码在运行每一步时提供数据 2)从文件中读取:输入管道从TensorFlow图形的开头读取文件中的数据。 3)预加载数据:TensorFlow图中的常量或变量保存所有数转载 2017-12-20 19:12:02 · 22734 阅读 · 7 评论 -
序列到序列的网络seq2seq
1、seq2seq使用两个循环神经网络,将一个语言序列直接转换到另一个语言序列。2、序列到序列的模型是循环神经网络的升级版,其联合了两个循环神经网络。一个神经网络负责接收源句子;另一个循环神经网络负责将句子输出成翻译的语言。这两个过程分别称为编码和解码的过程。示意图如下: 3、编码编码过程实际上使用了循环神经网络记忆的功能,通过上下文的序列关系,将词向量依次输入网络。对于循环神经网络,每一次网络都原创 2017-12-10 15:38:34 · 8781 阅读 · 1 评论 -
LSTM
1、对于长时依赖问题循环神经网络难以记忆长时间的信息。 LSTM长短时记忆网络能在一定程度上解决长时依赖问题。2、输入门、遗忘门和输出门输入门控制着网络的输入 遗忘门控制着记忆单元 输出门控制着网络的输出遗忘门的作用就是决定以前的哪些记忆将被保留,哪些记忆将被遗忘,正是由于遗忘门的作用,LSTM有了长期记忆的功能。对于给定的功能,遗忘门能够自己学习保留多少以前的记忆。3、遗忘门——记忆衰减系数原创 2017-12-10 11:18:26 · 2699 阅读 · 0 评论 -
关于tensorflow在训练或者测试时越来越慢,重启之后又恢复
问题描述: Tensorflow 训练时运行越来越慢,重启后又变好。用的是Tensorflow-GPU 1.2版本,在GPU上跑,大概就是才开始训练的时候每个batch的时间很低,然后随着训练的推进,每个batch的耗时越来越长,但是当我重启后,又一切正常了? 问题解决: 因为在运行时的session里定义了tf的op导致的。这样每一次迭代都会在graph里增加新的节点,导致memory l...原创 2018-03-15 16:56:38 · 8479 阅读 · 0 评论