- 博客(13)
- 资源 (13)
- 收藏
- 关注
原创 先验概率与后验概率、贝叶斯区别与联系
先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故。堵车的概率就是先验概率。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故,那么我们想算一下堵车的概率,这个就叫做条件概率。也就是P(堵车|交通事故)。这是有因求果。如果我们已经出了门,然后遇到了堵车,那么我们想
2017-08-23 14:25:26 38096 17
转载 tensorflow各版本间踩过的坑
问题一:TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.tensorflow 函数tf.cocat([fw,bw],2)出错:Expected int32, got list containing Tensors of type ‘_Message’ inst 查
2017-08-16 16:01:41 3925
原创 tensorflow中optimizer如何实现神经网络的权重,偏移等系数的更新和梯度计算
案例代码:#建立抽象模型x = tf.placeholder(tf.float32, [None, 784])y = tf.placeholder(tf.float32, [None, 10]) #实际分布的概率值w = tf.Variable(tf.zeros([784, 10]))b = tf.Variable(tf.zeros(10))a = tf.
2017-08-15 17:33:10 3858 1
转载 如何用 TensorFlow 实现基于 LSTM 的文本分类
引言学习一段时间的tensor flow之后,想找个项目试试手,然后想起了之前在看Theano教程中的一个文本分类的实例,这个星期就用tensorflow实现了一下,感觉和之前使用的theano还是有很大的区别,有必要总结mark一下。 模型说明这个分类的模型其实也是很简单,主要就是一个单层的LSTM模型,当然也可以实现多层的模型,多层的模型使用Tensorflow尤其简
2017-08-15 11:43:02 763
转载 变量更新和控制依赖
变量更新到目前为止,我们已经将变量专门用于我们模型中的一些权重,这些权重将根据优化器的操作进行更新操作(如:Adam)。但是优化器并不是更新变量的唯一方法,还有别的一整套更高级的函数可以完成这个操作(你将再次看到,这些更高级的函数将作为一种操作添加到你的图中)。最基本的自定义更新操作是 tf.assign() 操作。这个函数需要一个变量和一个值,并将值分配给这个变量,非常简单吧。
2017-08-15 10:56:24 500
原创 tf.train中的Optimizer相关的函数与功能介绍
摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。1、序言本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作,在训练过程中,先实例化一个优化函数,比如 tf.tr
2017-08-14 20:50:05 61955 2
转载 tensorflow的运行流程与核心关键概念含义介绍
1.tensorflow的运行流程tensorflow的运行流程主要有2步,分别是构造模型和训练。在构造模型阶段,我们需要构建一个图(Graph)来描述我们的模型。所谓图,也可以理解为流程图,就是将数据的输入->中间处理->输出的过程表示出来,就像下面这样。 注意此时是不会发生实际运算的。而在模型构建完毕以后,会进入训练步骤。此时才会有实际的数据输入,梯
2017-08-14 20:47:26 756
原创 TensorFlow的 数据和参数的输入 及变量存储
假如我想使用一个空的tensor呢?这就需要用到tf.placeholder() 和 feed_dict 。tf.placeholder() 在TensorFlow(后文简称TF)中,数据并不会保存为 integer, float, 或 string. 这些值都封装在 tensor 对象中,因此不能直接定义并使用一个变量例如x,因为你设计的模型可能需要受不同的数据集与不同的参数
2017-08-10 17:25:37 1820
转载 TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵 损失函数
交叉熵交叉熵可在神经网络(机器学习)中作为损失函数,p表示真实标记的分布,q则为训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题,因为学习速率可以被输出的误差所控制。tensorflow中自带的函数可以轻松的实现交叉熵的计算。tf.nn.softmax_cro
2017-08-10 14:27:20 2645 1
原创 softmax 损失函数以及梯度推导计算
在 考虑数值计算稳定性情况下的Softmax损失函数的公式如下 :对所有样本及计入正则化惩罚后,损失函数公式为:我们先从 Li看起。f(i,j)即矩阵f(x,w)中的第i,j个元素。我们与之前一样求出样本集与权重集之间的评分集即可。max(fj)即在第i个样本的所有分类得分中最大的得分。从式中看,评分集中的每一个元素都需要减去这个最大得分,这可以通过矩阵操作
2017-08-07 20:17:56 14942 5
原创 机器学习中的参数与超参数之间的区别
机器学习中的模型参数和模型超参数在作用、来源等方面都有所不同,而模型超参数常被称为模型参数,这样,很容易对初学者造成混淆。本文给出了模型参数和模型超参数的定义,并进行了对比,指出了二者本质上的区别:模型参数是模型内部的配置变量,可以用数据估计模型参数的值;模型超参数是模型外部的配置,必须手动设置参数的值。我们在做研究的时候,会碰到很多术语。有时,在不同的研究领域还会出现同样名称
2017-08-07 15:38:42 30726 2
原创 LSTM 两个激励函数区别sigmoid 和tanh
sigmoid 用在了各种gate上,产生0~1之间的值,这个一般只有sigmoid最直接了。tanh 用在了状态和输出上,是对数据的处理,这个用其他激活函数或许也可以。
2017-08-06 22:58:14 41313 1
原创 LSTM 网络中几个门的理解
个人认为下面这篇博文非常适合初学或者学的很浅的朋友。转自http://www.jianshu.com/p/9dc9f41f0b29经常接触LSTM,GRU,RNN这些模型,对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题,对于长距离的句子的学习效果不好的问题,而且大概知道里面是加了一些参数,加了门单元来选择忘记和记住一些信息。但是具体公式没有推过,所以理解的不够深。但
2017-08-06 22:51:46 25300 1
text-classification-cnn-rnn.rar
2020-07-09
内存中引用与指针之间的使用与区别
2009-09-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人