- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度信念网络
神经网络自20世纪50年代发展起来后，因其良好的非线性能力、泛化能力而备受关注。然而，传统的神经网络仍存在一些局限，在上个世纪90年代陷入衰落，主要有以下几个原因：1、传统的神经网络一般都是单隐层，最多两个隐层，因为一旦神经元个数太多、隐层太多，模型的参数数量迅速增长，模型训练的时间非常之久；2、传统的神经网络，随着层数的增加，采用随机梯度下降的话一般很难找到最优解，容易陷入局部最优解。在反向...
2019-10-25 13:28:23
1264
原创 softmax、softmax loss、cross entropy
归一化（softmax）把几个数量级不同的数据，放在一起比较（或者画在一个数轴上），比如：一条河的长度几千甚至上万km，与一个人的高度1.7m，放在一起，人的高度几乎可以被忽略，所以为了方便比较，缩小他们的差距，但又能看出二者的大小关系，可以找一个方法进行转换。另外，在多分类预测时，比如：一张图，要预测它是猫，或是狗，或是人，或是其它什么，每个分类都有一个预测的概率，比如是猫的概率是0.7，狗...
2019-10-16 22:42:16
322
原创 TensorFlow学习---tf.nn.dropout防止过拟合
一、 Dropout原理简述：tf.nn.dropout是TensorFlow里面为了防止或减轻过拟合而使用的函数，它一般用在全连接层。Dropout就是在不同的训练过程中随机扔掉一部分神经元。也就是让某个神经元的激活值以一定的概率p，让其停止工作，这次训练过程中不更新权值，也不参加神经网络的计算。但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。示意图如下：...
2019-10-16 16:02:07
409
原创 全连接层的实现
全连接层的推导全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下...
2019-10-16 15:44:50
1847
原创 LSTM原理
LSTM原理长短期记忆网络（Long Short Term Memory networks） - 通常叫做 “LSTMs” —— 是 RNN 中一个特殊的类型。明确来说，设计 LSTMs 主要是为了避免前面提到的 长时期依赖 （long-term dependency ）的问题。它们的本质就是能够记住很长时期内的信息，而且非常轻松就能做到。定义一下用到的符号：在网络结构图中，每条线都传...
2019-09-25 15:02:21
581
原创 Kaggle-Digit Recognizer
用Tensorflow实现Kaggle的手写识别项目代码如下import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plot #画图from tensorflow.examples.tutorials.mnist import input_dataimport pandas as pd#加载数据集...
2019-09-25 10:24:34
234
原创 numpy函数:arange()
numpy函数:arange()arange函数类似于range函数，arange函数返回的是一个数组，而range返回的是list.先引入numpy,range不需要引入import numpy as nprange返回一个list,而arange返回一个array对象range（5）[0,1,2,3,4]np.arange(5)array([0,1,2,3,...
2019-09-24 13:37:46
669
原创 pandas iloc函数
- pandas iloc函数train.iloc[0:4]0:4是选取0，1，2，3这四行，这里是前闭后开集合train.iloc[:,:8]选取位置为[0,8)列的整列数据train.iloc[0:2,8]选取位置为8的列的[0，2）行的数据`...
2019-09-23 16:53:20
4970
原创 （Tensorflow框架）实现手写数字识别CNN
（Tensorflow框架）实现手写数字识别CNN使用Tensorflow操作MNIST数据MNIST是一个非常有名的手写体数字识别数据集，在很多资料中，这个数据集都会被用作深度学习的入门样例。而TensorFlow的封装让使用MNIST数据集变得更加方便。MNIST数据集是NIST数据集的一个子集，它包含了60000张图片作为训练数据，10000张图片作为测试数据。在MNIST数据集中的每...
2019-09-21 14:33:42
468
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人