![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
hopyGreat
这个作者很懒,什么都没留下…
展开
-
学习LSTM模型
原文链接:Understanding LSTM Networks 注:非全部翻译,有部分为自我添加,有部分原文未全翻译。 全连接或卷积神经网络模型中,网络结构都是从输入层到隐藏层再到输出层,层与层之间都是全连接或部分连接,但每层之间的节点是没有连接的。这样就会存在无法捕捉时序特征的问题。不同时间序列的输入之间没有联系。 因此促进了携带时间序列信息的模型的发展,如隐马尔可夫模型HMM等。 H...翻译 2018-10-28 22:07:55 · 2558 阅读 · 0 评论 -
去噪自编码器
import numpy as np import tensorflow as tf # 使用Xavier初始化器进行权重初始化 它的特点是根据某一层网络的输入,输出节点数量自动调整最合适的分布 # 从数学的角度分析 Xavier就是让权重满足均值为0, 同时方差为(2/(n_input + n_output)) # 分布可以使用均匀分布或者高斯分布 # 如下代码所示,通过tf.random_...原创 2018-11-04 10:52:47 · 1756 阅读 · 1 评论 -
《深度学习入门:基于Python的理论与实现》第三章阅读笔记
目录 3 神经网络 3.1 从感知机到神经网络 3.1.1 神经网络的例子 3.1.2 复习感知机 3.1.3 激活函数登场 3.2 激活函数 3.2.1 sigmoid函数 3.2.2 阶跃函数的实现 3.2.3 阶跃函数的图像 3.2.4 sigmoid函数的实现 3.2.5 sigmoid函数和阶跃函数的比较 3.2.6 非线性函数 3.2.7 ReLU函数 3...原创 2018-12-02 00:09:40 · 1416 阅读 · 11 评论 -
Python实现简单神经网络
使用Python + NumPy库,实现神经网络。 该网络具有一层输入层,一层隐藏层,一层输出层。 求梯度采用的方法是数值微分求梯度。 由于该算法效率较差,所以只训练了10次。 最终的正确率停留在9%左右。 (唯一的感觉就是数值积分确实好理解,但是太慢了!) from dataset.mnist import load_mnist import numpy as np batch_...原创 2018-12-08 19:16:01 · 943 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第四章阅读笔记
4 神经网络的学习 这一章主要讲解神经网络的学习,包括第三章初步介绍的前向传播,已经这一章要将的反向传播等。 4.1 从数据中学习 神经网络的特征就是可以从数据中学习。所谓从数据中学习,是指可以由数据自动决定权重参数的取值。 4.1.1 数据驱动 利用数据相出一个可以识别数字的算法。一种方案是,先从图像中提取特征量,再用机器学习技术学习这些特征量的模式,最后对转换后的向量使用机器学习中的...原创 2018-12-08 23:11:47 · 1108 阅读 · 4 评论 -
《深度学习入门:基于Python的理论与实现》第6章-参数的更新
声明:这是原书的读书笔记,原书中的图,实在太漂亮了,我忍不住全扣下来了。。。强推原书。 参数优化 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化。 1 随机梯度下降 一种最基本的方法是将参数的梯度作为线索,使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降(Stochastic...原创 2018-12-09 19:38:19 · 859 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第6章-权重的初始化
权重的初始化 在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值经常关系到神经网络的学习能否成功。 1 可以将权重初始化为0吗 由于神经网络的学习可能会产生过拟合的效果。所谓过拟合就是对训练数据的预测准确度非常高,但应用到其它数据集上表现的结果则非常差,称之为泛化能力不好。 一般会通过一种权值衰减的方式抑制该问题,权值衰减是一种以减小权重参数的值为目的进行学习的方法。...原创 2018-12-09 23:39:04 · 876 阅读 · 0 评论