weixin_42713739的博客

def multinomial(logits, num_samples, seed=None, name=None, output_dtype=None)logits是一个二维张量，num_samples指的是采样的个数。先上代码：a = tf.constant([1.,2.,3.,4.,5.,6.,7.,8.,9.])b = tf.reshape(a,[1,9])dede = tf....

先上源码：tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=No...

上原型：one_hot(indices, depth, on_value=None, off_value=None, axis=None, dtype=None, name=None)indices: 代表了on_value所在的索引，其他位置值为off_value。类型为tensor，其尺寸与depth共同决定输出tensor的尺寸。depth：编码深度。on_value & ...

1.tensor b[:,1]中的：是啥意思？上代码：a = tf.constant([1,2,3,4,5,6,7,8])b = tf.reshape(a,[2,4])c = b[1,:]with tf.Session() as sess: print(sess.run(c))输出结果为：[5 6 7 8]再上代码：a = tf.constant([1,2,3,4,5...

LSTM内部结构函数： tf.nn.rnn_cell.BasicLSTMCell(num_units, forget_bias=1.0, state_is_tuple=True):num_units：表示神经元的个数，forget_bias：就是LSTM们的忘记系数，如果等于1，就是不会忘记任何信息。如果等于0，就都忘记。state_is_tuple：默认就是True，官方建议用Tru...

先看下RNN的计算公式：output = new_state =tanh( input∗W + state∗U + B)或者output=h1=f(x1∗W+h0∗U+B)标准的RNN单元有三个可训练的参数 W,U,B，激活函数tanh，以及两个状态：x1输入状态，h0隐藏层状态上代码说明：output_size = 10batch_size = 32cell = tf.nn.rn...

概念什么是RNN?RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种’记忆’功能.RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，...

先上代码，看看输出的结果：import tensorflow as tfimport numpy as np# 定义一个未知变量input_ids用于存储索引input_ids = tf.placeholder(dtype=tf.int32, shape=[None])# 定义一个已知变量embedding，是一个5*5的对角矩阵# embedding = tf.Variable(...

由来人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事...

tf.softmax_cross_entropy_with_logits()的计算过程一共分为两步:1.对输入进行softmax转换成概率；2.计算交叉熵损失对输入进行softmax转换成概率比如某个logits = [2, 7, 5],使用softmax将logits转换成概率,就是按照公式：，计算logits中每个元素的值:计算logits中每个元素的值，计算结果为[0.00...

softmax我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上...

概念梯度下降法是一种常用的迭代方法，其目的是让输入向量找到一个合适的迭代方向，使得输出值能达到局部最小值。在拟合线性回归方程时，我们把损失函数视为以参数向量为输入的函数，找到其梯度下降的方向并进行迭代，就能找到最优的参数值。梯度下降算法过程如下：1）随机初始值；2）迭代，直至收敛。表示在处的负梯度方向，表示学习率。举例我们已经基本了解了梯度下降算法的计算过程，那么我...

概念什么是全连接层（fully connected layers，FC) ?全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷...

神经网络中的卷积核是训练出来的，是为了提取图像特征，借鉴了加权求和的特点。卷积核的本质就是找出图片中和自己相似的部分。卷积核的空间是对称的。如果存在一个卷积核A,那么一定存在另外一个卷积核B,使得B的转置就是A.大部分卷积核是奇数的，为啥？奇数相对于偶数，有中心点，对边沿、对线条更加敏感，可以更有效的提取边沿信息。偶数也可以使用，但是效率比奇数低。在数以万计或亿计的计算过程中，每个卷积核...

什么是卷积卷积的意义在于加权叠加。卷积的本质是做内积，内积的本质是计算相似度。首先给大家一个果壳上关于卷积的著名暴力讲解：比如说你的老板命令你干活，你却到楼下打台球去了，后来被老板发现，他非常气愤，扇了你一巴掌（注意，这就是输入信号，脉冲），于是你的脸上会渐渐地（贱贱地）鼓起来一个包，你的脸就是一个系统，而鼓起来的包就是你的脸对巴掌的响应，好，这样就和信号系统建立起来意义对应的联系。下面还...

激活函数的作用激活函数的主要作用就是加入非线性因素，以解决线性模型表达能力不足的缺陷，在整个神经网络起到至关重要的作用。在神经网络中常用的激活函数有Sigmoid、Tanh和relu等。二 Sigmod函数1 函数介绍Sigmoid是常用的非线性的激活函数，数学公式如下：2 函数曲线Sigmoid函数曲线如下图，其中x可以是负无穷到正无穷，但是对应的y却只有01的范围，所以，经过Si...

tensorflow中strides参数详解在学习tensorflow看到卷积这部分时，不明白这里的4个参数是什么意思，文档里面也没有具体说明。strides在官方定义中是一个一维具有四个元素的张量，其规定前后必须为1，所以我们可以改的是中间两个数，中间两个数分别代表了水平滑动和垂直滑动步长值。前后2个数字代表什么意思？一直都比较模糊def conv2d(x, W): return tf....

卷积后尺寸计算1、输入矩阵 W×W，这里只考虑输入宽高相等的情况，如果不相等，推导方法一样，不多解释。2、filter矩阵 F×F，卷积核3、stride值 S，步长。4、输出宽高为 new_height、new_width当然还有其他的一些具体的参数，这里就不再说明了。我们知道，padding的方式在tensorflow里分两种，一种是VALID，一种是SAME，下面分别介绍这两种方...

下面的数据集,主要是学术界使用的，工业界使用的数据集一般不公开下载不到。1.CIFAR-10CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但一些训...

概念卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。对比：卷积神经网络、全连接神经网络左图：全连接神经网络（平面），组成：输入层、激活函数、全连接层右图：卷积神经网...