- 博客(65)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 tensorflow学习之softmax使用详解
1. 什么是SoftmaxSoftmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示：其中，Vi 是分类器类别的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相...
2018-09-25 10:39:48
26441
原创 tensorflow学习之stack_bidirectional_rnn使用详解
tf.contrib.rnn.stack_bidirectional_rnntf.contrib.rnn.stack_bidirectional_rnn( cells_fw, cells_bw, inputs, initial_states_fw=None, initial_states_bw=None, dtype=None, seq...
2018-09-24 17:28:16
4596
2
原创 tensorflow学习之MultiRNNCell详解
tf.contrib.rnn.MultiRNNCellAliases:Class tf.contrib.rnn.MultiRNNCell Class tf.nn.rnn_cell.MultiRNNCell由多个简单的cells组成的RNN cell。用于构建多层循环神经网络。 __init__( cells, state_is_tuple=Tr...
2018-09-24 15:46:24
16962
3
原创 tensorflow学习之GRUCell详解
tf.contrib.rnn.GRUCellAliases:Class tf.contrib.rnn.GRUCell Class tf.nn.rnn_cell.GRUCell门控循环单元cell__init__( num_units, activation=None, reuse=None, kernel_initializer=No...
2018-09-23 15:58:41
16726
2
原创 tensorflow学习之LSTMStateTuple详解
Class LSTMStateTupleAliases:Class tf.contrib.rnn.LSTMStateTuple Class tf.nn.rnn_cell.LSTMStateTuple用于存储LSTM单元的state_size,zero_state和output state的元组。按顺序存储两个元素(c,h),其中c是隐藏状态，h是输出。只有在state_is_tuple...
2018-09-22 20:07:22
8344
1
原创 tensorflow学习之bidirectional_dynamic_rnn使用详解
tf.nn.bidirectional_dynamic_rnntf.nn.bidirectional_dynamic_rnn( cell_fw, cell_bw, inputs, sequence_length=None, initial_state_fw=None, initial_state_bw=None, dtype=None...
2018-09-22 19:48:04
5973
原创 tensorflow学习之dynamic_rnn使用详解
tf.nn.dynamic_rnn使用指定的RNNCell单元创建一个循环神经网络，对输入执行完全动态展开。tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, ...
2018-09-22 17:36:54
5541
1
原创 tensorflow学习之LSTMCell详解
Class tf.contrib.rnn.LSTMCell继承自：LayerRNNCellAliases:Class tf.contrib.rnn.LSTMCell Class tf.nn.rnn_cell.LSTMCell长短时记忆单元循环网络单元。默认的non-peephole是基于http://www.bioinf.jku.at/publications/older/2604...
2018-09-22 11:27:55
23188
原创 tensorflow学习之BasicLSTMCell详解
tf.contrib.rnn.BasicLSTMCell继承自：LayerRNNCellAliases:Class tf.contrib.rnn.BasicLSTMCell Class tf.nn.rnn_cell.BasicLSTMCell基础的LSTM循环网络单元，基于http://arxiv.org/abs/1409.2329.实现。将forget_bias（默认值：1）添加...
2018-09-21 23:13:06
21609
1
原创 tensorflow学习之static_bidirectional_rnn使用详解
tf.nn.static_bidirectional_rnnAliases:tf.contrib.rnn.static_bidirectional_rnn tf.nn.static_bidirectional_rnn创建双向循环神经网络。与单向循环神经网络类似，只不过双向循环神经网络同时接受前向和反向的RNN神经元，最终对前向和反向的输出进行深度级联，输出的格式如： [time][...
2018-09-21 21:18:01
5197
1
原创 tensorflow学习之static_rnn使用详解
tf.nn.static_rnnAliases:tf.contrib.rnn.static_rnn tf.nn.static_rnn使用指定的RNN神经元创建循环神经网络tf.nn.static_rnn( cell, inputs, initial_state=None, dtype=None, sequence_length=N...
2018-09-21 17:01:36
8148
转载 BasicRNNCell 和 BasicLSTMCell 的 output
在BasicRNNCell 和 BasicLSTMCell 的类中调用了call方法会得到output。由上图可知h对应了BasicRNNCell的state_size。 那么y是不是对应了BasicRNNCell的output_size呢？ 答案是否定的！通过“ return output, output”，可以看出在 BasicRNNCell 中， output真实和隐状态的值...
2018-09-21 16:23:40
876
原创 tensorflow学习之BasicRNNCell详解
1.循环神经网络循环神经网络很像前馈神经网络，但是不同的是神经元有连接回指。如上左图，一个循环神经元可以把自己的输出作为自身的输入，但是这个输入是上一个时间点的输出，如果将上面左图展开就变成右边的图：一个神经元在时间轴上的运行。图右边的下标代表时间，循环神经元在时间 t 同时接受输入 x(t)和自己在上一时间 t−1的输出结果 y(t−1) 2.源码讲解BasicRNN...
2018-09-21 16:17:20
4148
转载 Maxout详解
一、相关理论 本篇博文主要讲解2013年，ICML上的一篇文献：《Maxout Networks》，这个算法我目前也很少用到，个人感觉最主要的原因应该是这个算法参数个数会成k倍增加(k是maxout的一个参数)，不过没关系，对于我们来说知识积累才是最重要的，指不定某一天我们就需要用到这个算法，技多不压身。个人感觉Maxout网络和Dropout有很多相似的地方。 本篇博文将从什...
2018-09-21 11:53:35
23730
3
原创 tensorflow之tf.nn.static_bidirectional_rnn详解
tf.nn.static_bidirectional_rnnAliases:tf.contrib.rnn.static_bidirectional_rnn tf.nn.static_bidirectional_rnntf.nn.static_bidirectional_rnn( cell_fw, cell_bw, inputs, initial_sta...
2018-09-20 21:33:51
4519
原创 《统计学习方法》摘记之朴素贝叶斯法
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。1.朴素贝叶斯法的学习与分类1.1 学习给定输入集合X，输出集合Y，P(X,Y)是输入X和输出Y的联合概率分布。训练数据集：由P(X,Y)独立同分布产生...
2018-09-20 16:57:37
500
原创 《深度学习》摘记之前馈神经网络(2)：学习XOR
为了使前馈神经网络更加具体，通过解决一个简单的任务：学习XOR函数来加深理解。XOR函数(异或)是两个二进制值x1和x2的运算。当x1和x2中恰有一个为1时，函数返回1，否则返回0。我们想要学习的目标函数y=f*(x),模型给出了一个函数y=f(x;θ),学习算法通过不断调整参数θ来使得f尽可能接近f*。在该示例中，我们不关心模型的泛化能力。给定4个训练数据点X={[0,0]T,[0,1]...
2018-09-20 13:58:06
2760
原创 《深度学习》摘记之前馈神经网络(1)
前馈神经网络也叫作深度前馈网络或者多层感知机，是典型的深度学习模型。前馈神经网络的目标是近似某个函数f*。例如，对于分类器，y=f*(x)映射到一个类别标签y。通过定义一个x到y的映射y=f(x;θ),并学习参数θ的值，使映射能够得到最佳的函数近似。之所以被称为前馈网络，是因为信息流过x的函数，流经用于定义f的中间计算过程，最终到达输出y。在模型的输出和模型本身之间没有反馈连接。当前馈神经网络...
2018-09-20 13:54:56
1340
原创 tf.nn.dynamic_rnn和MultiRNNCell构建多层动态LSTM
import tensorflow as tf;import numpy as np;X = tf.random_normal(shape=[3, 5, 6], dtype=tf.float32)X = tf.reshape(X, [-1, 5, 6])stacked_rnn=[]for i in range(3): stacked_rnn.append(tf.contrib...
2018-09-19 20:45:11
4234
原创 tf.contrib.rnn.static_bidirectional_rnn和MultiRNNCell构建多层静态双向LSTM
import tensorflow as tfimport numpy as np# 设置训练参数learning_rate = 0.01max_examples = 40batch_size = 128display_step = 10 # 每间隔10次训练就展示一次训练情况n_input = 100#词向量维度n_steps = 300#时间步长fw_n_hidden...
2018-09-19 20:44:09
1912
2
原创 tf.nn.bidirectional_dynamic_rnn和MultiRNNCell构建双向多层RNN(LSTM)
import tensorflow as tfimport numpy as npX = np.random.randn(10, 5, 5) # 输入数据,批次、序列长度、样本维度# 第二个样本的维度为3X[1, 2:] = 0stacked_rnn = []stacked_bw_rnn = []for i in range(3): stacked_rnn....
2018-09-19 20:39:49
2351
1
原创 tensorflow损失函数之：softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits_v2的区别
tf.nn.softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, dim=-1, name=None)tf.nn.softmax_cross_entropy_with_logits_v2( _sentinel=None, label...
2018-09-19 20:06:15
2220
原创 tensorflow之损失函数:sparse_softmax_cross_entropy_with_logits 与 softmax_cross_entropy_with_logits的区别
原函数： tf.nn.sparse_softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, name=None)tf.nn.softmax_cross_entropy_with_logits( _sentinel=None, labels=N...
2018-09-19 19:33:42
727
原创 tensorflow之神经网络层：Flatten，flatten
1.tf.layers.FlattenClass Flatten:在保留第0轴的情况下对输入的张量进行Flatten(扁平化)代码示例： x=tf.placeholder(shape=(None,4,4),dtype='float32') y=tf.layers.Flatten()(x) print(y) 输出：Tensor("flatten/Re...
2018-09-19 17:53:22
38270
1
原创 tensorflow之神经网络层：Dense,dense,Dropout,dropout
1.tf.layers.DenseClass Dense:全连接层该层实现了outputs=activation(inputs*kernel+bias),其中激活函数是作为参数提供的，kernel是该层创建的权重矩阵，而bias是该层创建的偏置向量(仅当use_bias为True)。参数：units:Integer或者Long，输出空间的维度 activation:激活函数，如果...
2018-09-19 17:41:56
19147
原创 tensorflow之神经网络层：MaxPooling1D、max_pooling1d、MaxPooling2D、max_pooling2d
微信公众号：数据挖掘与分析学习1.tf.layers.MaxPooling1DClass MaxPooling1D：1D输入的最大池化层参数：pool_size:一个整数或者一个单个整数的tuple/list,表示池化窗口的大小 strides:一个整数或者一个单个整数的tuple/list,指定池化操作的移动步幅 padding:一个字符串。padding的方法：”valid...
2018-09-19 15:28:24
41882
6
原创 tensorflow之神经网络层：AveragePooling2D、average_pooling2d、Conv2D和conv2d
微信公众号：数据挖掘与分析学习1. tf.layers.Conv2DClass Conv2D:2D卷积层，如图像上的空间卷积该层创建卷积核，该卷积核与层的输入卷积（实际上是交叉相关）以产生输出张量。 如果use_bias为True（并且提供了bias_initializer），则会创建偏置向量并将其添加到输出。 最后，如果激活函数不是None，它也会应用于输出。参数：filte...
2018-09-19 14:28:28
15297
原创 tensorflow之神经网络层：AveragePooling1D、average_pooling1d、Conv1D和conv1d
1.tf.layers.AveragePooling1DClass AveragePooling1D:对一维的输入作平均池化参数:pool_size:一个整数或者一个单个整数的tuple/list,表示池化窗口的大小 Strides:一个整数或者一个单个整数的tuple/list,指定池化操作的移动步幅 padding:一个字符串。padding的方法：”valid”或者’same...
2018-09-19 12:53:18
7814
原创 python机器学习之10分钟掌握pandas
微信公众号：数据挖掘与分析学习1.创建对象通过传递值列表来创建Series，让pandas创建一个默认的整数索引：通过传递带有日期时间索引和标记列的NumPy数组来创建DataFrame：通过传递可以转换为类似series的对象的dict来创建DataFrame。生成的DataFrame的列具有不同的dtypes。 2.查看数据以下是查看frame的...
2018-09-18 16:56:15
488
翻译 机器学习之决策树算法原理详解
微信公众号：数据挖掘与分析学习在本文中，我们将讨论决策树背后的理论和工作原理。 我们将看到该算法的一些数学知识，即熵和信息增益。1.动机假设我们有以下两个类别的图，由黑色圆圈和蓝色方块表示。 是否可以画一条分离线将两个类别分开？ 也许没有。你能花一条线将它们分开吗？我们需要不止一条线来将上面的类分开。 与下图类似：我们在这里需要两条线，一条线根据x的阈值分割，另一条...
2018-09-18 16:52:35
997
转载 Python 迭代器 & __iter__方法
迭代器就是重复地做一些事情，可以简单的理解为循环，在python中实现了__iter__方法的对象是可迭代的，实现了next()方法的对象是迭代器，这样说起来有点拗口，实际上要想让一个迭代器工作，至少要实现__iter__方法和next方法。很多时候使用迭代器完成的工作使用列表也可以完成，但是如果有很多值列表就会占用太多的内存，而且使用迭代器也让我们的程序更加通用、优雅、pythonic。如果...
2018-09-18 16:51:10
1358
原创 gensim学习之语料库和向量空间
微信公众号：数据挖掘与分析学习1.字符串转为向量1.1导入所需库 import logging logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO) from gensim import corpora from ...
2018-09-18 10:44:24
1748
原创 python自然语言处理库之gensim简介
微信公众号：数据挖掘与分析学习Gensim是一个免费的 Python库，旨在从文档中自动提取语义主题，尽可能高效（计算机方面）和无痛（人性化）。Gensim旨在处理原始的非结构化数字文本（“ 纯文本 ”）。在Gensim的算法，比如Word2Vec，FastText，潜在语义分析（LSI，LSA，见LsiModel），隐含狄利克雷分布（LDA，见LdaModel）等，自动训练文档的躯体...
2018-09-18 10:41:48
1499
原创 tensorflow神经网络训练流程
微信公众号：数据挖掘与分析学习1.导入所需的库 from __future__ import print_function from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf 2.数据准备 mnist=input_data.read_...
2018-09-17 20:51:56
1124
原创 tensorflow之算术运算符：truediv、floordiv、realdiv、truncatediv
微信公众号：数据挖掘与分析学习1. tf.truediv按元素除法x / y（使用Python 3除法运算符语义）。注意：首选使用Tensor运算符或遵循Python除法运算符语义的tf.divide。此函数强制使用Python 3除法运算符语义，其中所有整数参数首先转换为浮点类型。 此op由Python 3中的正常x / y除法和带有__future__ import divisio...
2018-09-17 20:49:40
16228
转载 tensorflow 优化器optimizer
1. 优化器的种类 Optimizer GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer MomentumOptimizer AdamOptimizer FtrlOptimizer RMSPropOptimizer 2. GradientDescentOptimizerwith tf.nam...
2018-09-16 20:08:19
637
转载 使用tf.estimator.Estimator训练神经网络
参考: https://github.com/aymericdamien/TensorFlow-Examples/ from __future__ import print_function from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data...
2018-09-16 14:49:15
1312
转载 TensorFlow API之tf.estimator.Estimator
tfestimatorEstimator 属性 方法 tf.estimator.EstimatorEstimator class训练和测试TF模型。Estimator对象封装好通过model_fn指定的模型，给定输入和其它超参数，返回ops执行training, evaluation or prediction. 所有的输出(包含checkpoints, event files...
2018-09-16 14:38:22
708
原创 tensorflow之算术运算符：tf.add,tf.subtract,tf.multiply,tf.scalar_mul,tf.div
1.tf.addtf.add或tf.math.add：加法操作 tf.add( x, y, name=None ) 参数说明: x:一个张量。必须是下列类型之一：bfloat16, half, float32, float64, uint8, int8, int16, int32, int64, complex6...
2018-09-16 10:46:36
15695
1
原创 tensorflow实现logistic回归进行手写字识别
1.数据准备 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #加载mnist数据 mnist=input_data.read_data_sets('/data/machine_learning/mnist/',one_hot=True) #使用o...
2018-09-16 10:10:40
347
weka中文教程
2017-09-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人