2017年01月_mstar1992

原创 Sequence to Sequence Learning with Neural Networks

这是由谷歌的三位大神用seq2seq模型实现的基于神经网络的机器翻译（英法互译），基本的方法还是encoder-decoder,作为seq2seq的经典必读论文，本文与其他工作相比主要有创新点有：利用了多层的LSTM（本文中是4层）。实验表明使用LSTM对长句子的翻译来说效果很好，主要是因为LSTM本身具有长期依赖的优势。与attention不一样，它又回归到原始模型，在编码端将输入句子编码成一

2017-01-29 17:04:00 7189

原创 windows上安装tensorflow

tensorflow0.12版本支持windows，需要python3.5.x。安装python3.5.x下载：python3.5.2 安装：第一个Install Now是默认安装在c盘的，第二个是自己选择安装路径。我选择第二个，同时将Add Python 3.5 to PATH勾选上。这一步可以都勾选上。这一步的时候我没有勾选最后一项，虽然安装成功了，但是运行的时候报

2017-01-19 15:16:34 22094 2

原创 tf.matmul

矩阵a*b# 2-D tensor `a`a = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3]) => [[1. 2. 3.] [4. 5. 6.]]# 2-D tensor `b`b = tf.constant([7, 8, 9, 10, 1

2017-01-18 09:34:41 28222

原创 rnn_cell._linear

源码def _linear(args, output_size, bias, bias_start=0.0, scope=None): """Linear map: sum_i(args[i] * W[i]), where W[i] is a variable. Args: args: a 2D Tensor or a list of 2D, batch x n, Tensors.

2017-01-18 09:30:27 5754 2

原创 tf.concat与numpy.concatenate

t1 = [[1, 2, 3], [4, 5, 6]]t2 = [[7, 8, 9], [10, 11, 12]]tf.concat(0, [t1, t2]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]tf.concat(1, [t1, t2]) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 1

2017-01-17 21:37:00 24269 3

sequence-to-sequence 模型的种类很多，每一种模型都可以使用不同的RNN单元，但是都必须以 encoder inputs 和decoder inputs作为参数。在tf.nn.seq2seq接口中有各种RNN encoder-decoder sequence-to-sequence模型，最基本的是这个样子：outputs, states = basic_rnn_seq2seq(en

2017-01-11 16:02:59 12780 1

原创基本神经网络

符号含义x,训练样本的输入特征,x∈Rn. x , 训练样本的输入特征,x \in \Re^{n}.y输出值/目标值,这里y可以是向量.在autoencoder中，y=x.y 输出值/目标值,这里 y 可以是向量. 在autoencoder中， y=x.(x(i),y(i)),第i个训练样本 (x^{(i)}, y^{(i)}),第 i 个训练样本hW,b(x),输入为x时的假设输出，

2017-01-03 09:59:03 579

原创 python中的o[np.arange(len(y)), y]

交叉熵的代码里面有这样一句代码 o = array([[1,2] [3,4]]) y = array([1,0]) o[np.arange(len(y)), y] = array([2,3]) 就是在o的前len(y)行按照y进行索引，y中的值不能超出o的列数。

2017-01-01 21:24:23 5594

原创机器学习算法中的假设函数与损失函数以及梯度

线性回归：假设函数 hθ(x)=θTxh_\theta(x)=\theta^Tx损失函数 J(θ)=12∑mi=0(hθ(xi)−yi)2+\lamda∑J(\theta)=\frac{1}{2}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2+\lamda \sum梯度 θj:=\lamda\theta_j:=\lamda

2017-01-01 15:48:05 6499

原创 numpy.argmax()

numpy.argmax(a, axis=None, out=None) 返回沿轴axis最大值的索引。Parameters: a : array_like 数组 axis : int, 可选默认情况下，索引的是平铺的数组，否则沿指定的轴。 out : array, 可选如果提供，结果以合适的形状和类型被插入到此数组中。 Returns: index_array : nda

2017-01-01 11:57:28 89858 6

原创 np.zeros()思考

U = np.array([[1,2,3,4],[3,4,5,6]],dtype=np.int32)#第一列的值print U[:,0]#第一行的值print U[0,:]#第一行中的第一个的值print U[0,0:1]O = np.zeros(4)print OD = U.dot(O)#U的shape是(2,4),O的shape是(4,),O与U的列保持一致print D

2017-01-01 11:35:13 5740

u013713117的专栏