- 博客(11)
- 收藏
- 关注
原创 Sequence to Sequence Learning with Neural Networks
这是由谷歌的三位大神用seq2seq模型实现的基于神经网络的机器翻译(英法互译),基本的方法还是encoder-decoder,作为seq2seq的经典必读论文,本文与其他工作相比主要有创新点有:利用了多层的LSTM(本文中是4层)。实验表明使用LSTM对长句子的翻译来说效果很好,主要是因为LSTM本身具有长期依赖的优势。与attention不一样,它又回归到原始模型,在编码端将输入句子编码成一
2017-01-29 17:04:00 7189
原创 windows上安装tensorflow
tensorflow0.12版本支持windows,需要python3.5.x。安装python3.5.x下载:python3.5.2 安装: 第一个Install Now是默认安装在c盘的,第二个是自己选择安装路径。 我选择第二个,同时将Add Python 3.5 to PATH勾选上。 这一步可以都勾选上。 这一步的时候我没有勾选最后一项,虽然安装成功了,但是运行的时候报
2017-01-19 15:16:34 22095 2
原创 tf.matmul
矩阵a*b# 2-D tensor `a`a = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3]) => [[1. 2. 3.] [4. 5. 6.]]# 2-D tensor `b`b = tf.constant([7, 8, 9, 10, 1
2017-01-18 09:34:41 28222
原创 rnn_cell._linear
源码def _linear(args, output_size, bias, bias_start=0.0, scope=None): """Linear map: sum_i(args[i] * W[i]), where W[i] is a variable. Args: args: a 2D Tensor or a list of 2D, batch x n, Tensors.
2017-01-18 09:30:27 5754 2
原创 tf.concat与numpy.concatenate
t1 = [[1, 2, 3], [4, 5, 6]]t2 = [[7, 8, 9], [10, 11, 12]]tf.concat(0, [t1, t2]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]tf.concat(1, [t1, t2]) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 1
2017-01-17 21:37:00 24269 3
原创 tensorflow中的seq2seq文档解读
sequence-to-sequence 模型的种类很多,每一种模型都可以使用不同的RNN单元,但是都必须以 encoder inputs 和decoder inputs作为参数。在tf.nn.seq2seq接口中有各种RNN encoder-decoder sequence-to-sequence模型,最基本的是这个样子:outputs, states = basic_rnn_seq2seq(en
2017-01-11 16:02:59 12780 1
原创 基本神经网络
符号 含义x,训练样本的输入特征,x∈Rn. x , 训练样本的输入特征,x \in \Re^{n}.y输出值/目标值,这里y可以是向量.在autoencoder中,y=x.y 输出值/目标值,这里 y 可以是向量. 在autoencoder中, y=x.(x(i),y(i)),第i个训练样本 (x^{(i)}, y^{(i)}),第 i 个训练样本hW,b(x),输入为x时的假设输出,
2017-01-03 09:59:03 579
原创 python中的o[np.arange(len(y)), y]
交叉熵的代码里面有这样一句代码 o = array([[1,2] [3,4]]) y = array([1,0]) o[np.arange(len(y)), y] = array([2,3]) 就是在o的前len(y)行按照y进行索引,y中的值不能超出o的列数。
2017-01-01 21:24:23 5594
原创 机器学习算法中的假设函数与损失函数以及梯度
线性回归:假设函数 hθ(x)=θTxh_\theta(x)=\theta^Tx损失函数 J(θ)=12∑mi=0(hθ(xi)−yi)2+\lamda∑J(\theta)=\frac{1}{2}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2+\lamda \sum梯度 θj:=\lamda\theta_j:=\lamda
2017-01-01 15:48:05 6499
原创 numpy.argmax()
numpy.argmax(a, axis=None, out=None) 返回沿轴axis最大值的索引。Parameters: a : array_like 数组 axis : int, 可选 默认情况下,索引的是平铺的数组,否则沿指定的轴。 out : array, 可选 如果提供,结果以合适的形状和类型被插入到此数组中。 Returns: index_array : nda
2017-01-01 11:57:28 89864 6
原创 np.zeros()思考
U = np.array([[1,2,3,4],[3,4,5,6]],dtype=np.int32)#第一列的值print U[:,0]#第一行的值print U[0,:]#第一行中的第一个的值print U[0,0:1]O = np.zeros(4)print OD = U.dot(O)#U的shape是(2,4),O的shape是(4,),O与U的列保持一致print D
2017-01-01 11:35:13 5740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人