神经网络
hopyGreat
这个作者很懒,什么都没留下…
展开
-
学习LSTM模型
原文链接:Understanding LSTM Networks注:非全部翻译,有部分为自我添加,有部分原文未全翻译。全连接或卷积神经网络模型中,网络结构都是从输入层到隐藏层再到输出层,层与层之间都是全连接或部分连接,但每层之间的节点是没有连接的。这样就会存在无法捕捉时序特征的问题。不同时间序列的输入之间没有联系。因此促进了携带时间序列信息的模型的发展,如隐马尔可夫模型HMM等。H...翻译 2018-10-28 22:07:55 · 2473 阅读 · 0 评论 -
去噪自编码器
import numpy as npimport tensorflow as tf# 使用Xavier初始化器进行权重初始化 它的特点是根据某一层网络的输入,输出节点数量自动调整最合适的分布# 从数学的角度分析 Xavier就是让权重满足均值为0, 同时方差为(2/(n_input + n_output))# 分布可以使用均匀分布或者高斯分布# 如下代码所示,通过tf.random_...原创 2018-11-04 10:52:47 · 1723 阅读 · 1 评论 -
《深度学习入门:基于Python的理论与实现》第三章阅读笔记
目录3 神经网络3.1 从感知机到神经网络3.1.1 神经网络的例子3.1.2 复习感知机3.1.3 激活函数登场3.2 激活函数3.2.1 sigmoid函数 3.2.2 阶跃函数的实现3.2.3 阶跃函数的图像3.2.4 sigmoid函数的实现3.2.5 sigmoid函数和阶跃函数的比较3.2.6 非线性函数3.2.7 ReLU函数3...原创 2018-12-02 00:09:40 · 1399 阅读 · 11 评论 -
Python实现简单神经网络
使用Python + NumPy库,实现神经网络。该网络具有一层输入层,一层隐藏层,一层输出层。求梯度采用的方法是数值微分求梯度。由于该算法效率较差,所以只训练了10次。最终的正确率停留在9%左右。(唯一的感觉就是数值积分确实好理解,但是太慢了!)from dataset.mnist import load_mnistimport numpy as npbatch_...原创 2018-12-08 19:16:01 · 931 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第四章阅读笔记
4 神经网络的学习这一章主要讲解神经网络的学习,包括第三章初步介绍的前向传播,已经这一章要将的反向传播等。4.1 从数据中学习神经网络的特征就是可以从数据中学习。所谓从数据中学习,是指可以由数据自动决定权重参数的取值。4.1.1 数据驱动利用数据相出一个可以识别数字的算法。一种方案是,先从图像中提取特征量,再用机器学习技术学习这些特征量的模式,最后对转换后的向量使用机器学习中的...原创 2018-12-08 23:11:47 · 1094 阅读 · 4 评论 -
《深度学习入门:基于Python的理论与实现》第6章-参数的更新
声明:这是原书的读书笔记,原书中的图,实在太漂亮了,我忍不住全扣下来了。。。强推原书。参数优化神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化。1 随机梯度下降一种最基本的方法是将参数的梯度作为线索,使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降(Stochastic...原创 2018-12-09 19:38:19 · 834 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第6章-权重的初始化
权重的初始化在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值经常关系到神经网络的学习能否成功。1 可以将权重初始化为0吗由于神经网络的学习可能会产生过拟合的效果。所谓过拟合就是对训练数据的预测准确度非常高,但应用到其它数据集上表现的结果则非常差,称之为泛化能力不好。一般会通过一种权值衰减的方式抑制该问题,权值衰减是一种以减小权重参数的值为目的进行学习的方法。...原创 2018-12-09 23:39:04 · 864 阅读 · 0 评论