2018年01月_FocusOneThread

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 LSTM，GRU最权威的公式

摘自pytorch官方文档LSTM代码细节：import torch.nn as nnfrom torch.autograd import *import torchbatch_size = 3num_layer = 2hidden_size = 20feature_size = 10rnn = nn.LSTM(feature_size, hidden_size, num

2018-01-23 11:37:22 926

原创 RNN里门(gate) 的理解

门不是像mask一样造成 0 或 1 的输出，而是限流的作用，控制数值大小，这靠点乘操作实现，（点乘而不求和就没有cosine相似度的含义，）要控制数值大小，点乘是最好的选择。这时再看LSTM的公式，公式里 i f o 明显就是将点乘的另一乘数限流/控制了，

2018-01-23 11:09:12 3119

原创论文公式里的加号结合代码的一些常识

X1是[batch_size,feature_size] X2是[batch_size,feature_size] X1*W1+X2*W2等价于[X1:X2]*W3 其中*是矩阵相乘,:是feature dimension concat W1是[feature_size,feature_size2] W2是[feature_size,feature_size2] W3是[feature

2018-01-23 10:56:06 987

原创论文里公式P(Y|X)结合代码的一些常识

seq2seq的一问一答， X是输入的一句话，Y是输出的一句话，就要预测P(Y|X)最大的概率，这时，可以认为X就是condition，Y=f(X)，f是seq2seq神经网络，同理如果看到P(Y|X,Z)可以认为神经网络有两个输入X和Z，输出Y，也可以认为Y condition on X and Z而如果用概率来表示，里面有神经网络参数的话，一般这样表示，P(y ; Θ)，其中

2018-01-23 10:16:20 3110

原创利用正则表达式搜索

notepad里，比如要找the XXX model，又忘了XXX的名字，就可以利用正则搜索跨字符串的情况，

2018-01-23 09:58:51 2941

原创除了babi之外的文本推理数据集

The Stanford Natural Language Inference (SNLI) CorpusThe Multi-Genre Natural Language Inference (MultiNLI) corpusdeepmind NarrativeQA

2018-01-17 17:38:58 1613

原创 Xmanager 远程桌面卡，一卡一卡的

最近突然卡了，原来挺好，本以为是网最近不好导致的，后来发现不是，重装win7系统后好了：）

2018-01-16 15:18:27 4897

原创 pytorch 重复采样与非重复采样

import torchimport torch.nn.functional as Ffrom torch.autograd import *a = Variable(torch.FloatTensor([[0,0,0,0,0,0,90,100]]))b=F.softmax(a,-1)print(b.multinomial()) # 7 或 6print(b.multinomial

2018-01-15 17:20:08 2938

原创 torchvision pip安装失败之后的源码安装

git clone https://github.com/pytorch/vision.git git checkout 0.2.0 pip install pillow python setup.py install

2018-01-15 16:06:37 3917

原创 tensorflow loop实现的最新情况

https://stackoverflow.com/questions/35972194/variable-length-for-loop-tensorflow/

2018-01-15 10:33:17 502

原创只用TensorFlow的反向传播实现的RNN

rnn.pydef simple_rnn(cell,inputs,init_state=None,batch_size=None,dtype=None): state = init_state if state is None: state = cell.zero_state(batch_size, dtype) outputs = [] f

2018-01-12 11:34:31 1203

原创 pytorch tensor 转 variable

import torchfrom torch.autograd import Variablet = torch.zeros([2,2])v = Variable(t)print(t)print("-----")print(v)print结果： 0 0 0 0[torch.FloatTensor of size 2x2]-----Variable contai

2018-01-10 17:03:56 1388

原创 pytorch的tf.slice

import torchA_idx = torch.LongTensor([0, 2]) # the index vectorB = torch.LongTensor([[1, 2, 3], [4, 5, 6]])C = B.index_select(1, A_idx)# 1 3# 4 6

2018-01-10 14:26:13 3200

原创 beam search 简单例子实现及讲解

from math import logfrom numpy import arrayfrom numpy import argmax# beam searchdef beam_search_decoder(data, k): sequences = [[list(), 1.0]] # walk over each step in sequence for row

2018-01-09 09:34:11 6795

原创 pytorch的reinforce算法官方文档

http://pytorch.org/docs/0.3.0/distributions.htmlprobs = policy_network(state)m = Categorical(probs)action = m.sample() # 抽样一个actionnext_state, reward = env.step(action) # 得到一个rewardloss = -m.l

2018-01-05 11:16:05 2992

原创 torch 的 forward 和 backward

Criterions有其forward和backward函数 https://github.com/torch/nn/blob/master/doc/criterion.md Module也有其forward和backward函数 https://github.com/torch/nn/blob/master/doc/module.mdModule的forward函数最简单，就是输入input

2018-01-01 11:31:17 5462