2017年08月_Michael_Shentu

12月 11月 09月 08月 07月 05月 04月 03月 02月 01月

原创先验概率与后验概率、贝叶斯区别与联系

先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率。也就是P(堵车|交通事故)。这是有因求果。如果我们已经出了门，然后遇到了堵车，那么我们想

2017-08-23 14:25:26 38066 17

转载 tensorflow各版本间踩过的坑

问题一：TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.tensorflow 函数tf.cocat([fw,bw],2)出错:Expected int32, got list containing Tensors of type ‘_Message’ inst 查

2017-08-16 16:01:41 3925

原创 tensorflow中optimizer如何实现神经网络的权重，偏移等系数的更新和梯度计算

案例代码：#建立抽象模型x = tf.placeholder(tf.float32, [None, 784])y = tf.placeholder(tf.float32, [None, 10]) #实际分布的概率值w = tf.Variable(tf.zeros([784, 10]))b = tf.Variable(tf.zeros(10))a = tf.

2017-08-15 17:33:10 3858 1

转载如何用 TensorFlow 实现基于 LSTM 的文本分类

引言学习一段时间的tensor flow之后，想找个项目试试手，然后想起了之前在看Theano教程中的一个文本分类的实例，这个星期就用tensorflow实现了一下，感觉和之前使用的theano还是有很大的区别，有必要总结mark一下。模型说明这个分类的模型其实也是很简单，主要就是一个单层的LSTM模型，当然也可以实现多层的模型，多层的模型使用Tensorflow尤其简

2017-08-15 11:43:02 763

转载变量更新和控制依赖

变量更新到目前为止，我们已经将变量专门用于我们模型中的一些权重，这些权重将根据优化器的操作进行更新操作（如：Adam）。但是优化器并不是更新变量的唯一方法，还有别的一整套更高级的函数可以完成这个操作（你将再次看到，这些更高级的函数将作为一种操作添加到你的图中）。最基本的自定义更新操作是 tf.assign() 操作。这个函数需要一个变量和一个值，并将值分配给这个变量，非常简单吧。

2017-08-15 10:56:24 500

原创 tf.train中的Optimizer相关的函数与功能介绍

摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。1、序言本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作，在训练过程中，先实例化一个优化函数，比如 tf.tr

2017-08-14 20:50:05 61954 2

转载 tensorflow的运行流程与核心关键概念含义介绍

1.tensorflow的运行流程tensorflow的运行流程主要有2步，分别是构造模型和训练。在构造模型阶段，我们需要构建一个图(Graph)来描述我们的模型。所谓图，也可以理解为流程图，就是将数据的输入->中间处理->输出的过程表示出来，就像下面这样。注意此时是不会发生实际运算的。而在模型构建完毕以后，会进入训练步骤。此时才会有实际的数据输入，梯

2017-08-14 20:47:26 756

原创 TensorFlow的数据和参数的输入及变量存储

假如我想使用一个空的tensor呢？这就需要用到tf.placeholder() 和 feed_dict 。tf.placeholder() 在TensorFlow（后文简称TF）中，数据并不会保存为 integer, float, 或 string. 这些值都封装在 tensor 对象中，因此不能直接定义并使用一个变量例如x，因为你设计的模型可能需要受不同的数据集与不同的参数

2017-08-10 17:25:37 1820

转载 TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵损失函数

交叉熵交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。tensorflow中自带的函数可以轻松的实现交叉熵的计算。tf.nn.softmax_cro

2017-08-10 14:27:20 2645 1

原创 softmax 损失函数以及梯度推导计算

在考虑数值计算稳定性情况下的Softmax损失函数的公式如下：对所有样本及计入正则化惩罚后，损失函数公式为：我们先从 Li看起。f(i,j)即矩阵f(x,w)中的第i,j个元素。我们与之前一样求出样本集与权重集之间的评分集即可。max(fj)即在第i个样本的所有分类得分中最大的得分。从式中看，评分集中的每一个元素都需要减去这个最大得分，这可以通过矩阵操作

2017-08-07 20:17:56 14936 5

原创机器学习中的参数与超参数之间的区别

机器学习中的模型参数和模型超参数在作用、来源等方面都有所不同，而模型超参数常被称为模型参数，这样，很容易对初学者造成混淆。本文给出了模型参数和模型超参数的定义，并进行了对比，指出了二者本质上的区别：模型参数是模型内部的配置变量，可以用数据估计模型参数的值；模型超参数是模型外部的配置，必须手动设置参数的值。我们在做研究的时候，会碰到很多术语。有时，在不同的研究领域还会出现同样名称

2017-08-07 15:38:42 30722 2

原创 LSTM 两个激励函数区别sigmoid 和tanh

sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。tanh 用在了状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。

2017-08-06 22:58:14 41309 1

原创 LSTM 网络中几个门的理解

个人认为下面这篇博文非常适合初学或者学的很浅的朋友。转自http://www.jianshu.com/p/9dc9f41f0b29经常接触LSTM，GRU,RNN这些模型，对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题，对于长距离的句子的学习效果不好的问题，而且大概知道里面是加了一些参数，加了门单元来选择忘记和记住一些信息。但是具体公式没有推过，所以理解的不够深。但

2017-08-06 22:51:46 25297 1