![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络基础
yeqiustu
这个作者很懒,什么都没留下…
展开
-
神经网络基础--循环神经网络RNN
在处理序列问题(如语言识别等)上,使用循环神经网络(Recurrent Neural Networks,RNN)是很自然的方式;所谓循环神经网络,其实就是把上一时刻的信息作为当前时刻输入的一部分,从而实现信息的传递;本文将先介绍基础版RNN,并说明基础版的问题,然后介绍改进版的循环神经网络LSTM、GRU。RNNRNN的基本结构如下图所示:结构比较简单,通过单元状态s的循环来实现信息的传递,其公式如下:单元状态s的更新公式就是一个递推公式,依赖当前输入和上一时刻的单元状态。RNN原创 2020-07-05 18:47:59 · 366 阅读 · 0 评论 -
神经网络基础3:优化方法
本篇主要讲神经网络的常见优化方法。目前,出现了很多优化方法,如SGD、AdaGrad、RMSProp、AdaDelta、Momentum、Nesterov-Momentum (Nesterov’s accelerated gradient--NAG)、Adam、AdaMax、Nadam,接下来对它们分别进行讲解:SGD最初始的梯度下降法SGD优化的缺点:选择合适的learning rate比较困难;==》可以通过自适应学习率的方法克服 SGD对所有的参数更新使用了同样的learni原创 2020-06-24 20:32:18 · 271 阅读 · 0 评论 -
神经网络基础--指数加权移动平均ewma
因为神经网络中的常用优化算法都会涉及到指数加权移动平均(exponential weighted moving average, ewma;也可称为exponential moving average,ema),所以这里单独写下这个知识点。ewma通过将历史的值和当前实际值进行加权求和来得到当前值的估计,常用于减小序列数据的噪声,其公式如下,将该式进行递推展开得:令初始估计值,则可以看到,历史值随着时间距离越大而被赋予越小的权重;具体来说,历史数据的影响(权重)是随时间距离变化而呈指数衰原创 2020-06-24 00:17:07 · 2214 阅读 · 0 评论 -
神经网络基础2:激活函数
不是所有信息都是有用的,一些只是噪音;激活函数可以帮助神经网络做这种隔离,激活有用的信息,并抑制无关的数据点。以下将介绍神经网络中常用的几种激活函数:sigmoid、tanh、ReLu、leaky ReLu、PReLu、ELU、maxout、softmax,以及它们各自的特性。...原创 2020-05-23 11:12:29 · 1626 阅读 · 0 评论 -
神经网络基础1:数据处理biasing与scaling
数据处理我们知道在神经网络中,通常需要对样本数据进行预处理(Z-score standardization)、对各层中间隐层进行normalization(如Batch-normalization、layer-normalization等),这些操作都涉及biasing和scaling操作,那为什么需要这些操作?我们知道,每个神经元输出都是输入的线性组合z经过线性/非线性变换得到的可以把梯度理解成是输入对输出贡献的力度,梯度大小是与输入数值大小息息相关的,中间输出z对参数W的梯度等于输入向量原创 2020-05-17 17:24:58 · 1640 阅读 · 0 评论