![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
分享一些神经网络的知识点
misaka2019
一名机器学习的爱好者,平时喜欢分享一下自己的笔记
展开
-
循环神经网络知识点总结
前馈神经网络中,信息传递是单向的,可以看作是一个复杂的函数,网络的输出只依赖于当前的输入。因此无法处理时序数据。然而循环神经网络是一类具有短期记忆能力的神经网络。在循环神经网络中,神经元不但可以接受其他神经元的其他神经元的信息,也可以接受自身的信息,形成具有环路的网络结构。循环神经网络的参数学习可以通过随时间反向传播算法来学习。随时间反向传播算法即可以按照时间逆序将错误信息一步步往前传递。不过输入序列较长时,可能会有梯度爆炸和梯度消失的问题。梯度爆炸可以用梯度裁剪方法,但梯度消失就需要引入长短时神经网络(原创 2020-05-17 12:46:40 · 1494 阅读 · 0 评论 -
生成对抗网络知识点总结
GAN就是通过生成网络G和判别网络D不断博弈,进而使G学习到数据的分布。如果用到图片生成上,G可以从一段随机数中生成逼真的图像。其中G使一个生成式的网络,它接收一个随机的噪声Z(随机数),通过这个噪声生成图像。D是一个判别网络,判别一张图片是不是真实的。它的输入参数是x,输出x维真实图片的概率。如果是1就代表是真实的图片,如果为0就代表是假的。训练过程中,生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假图像和真实的图像。这样,G和D构成了一个动态的“博弈过程”,原创 2020-05-17 12:44:27 · 1031 阅读 · 0 评论 -
卷积神经网络知识点
卷积神经网络是一种具有局部连接,权值共享等特性的深层前馈神经网络。用全连接前馈网络来处理图像时,会存在参数太多,导致训练效率低和局部不变性特征等问题。卷积神经网络是怎样解决这些问题的?局部连接。每个神经元不再和上一层的所有神经元相连,而只和一小部分的神经元相连,这样就减小了很多参数。权值共享。一组连接可以共享同一个权重,而不是每个连接有一个不同的权重,这样极大的减小了参数数量。下采样 使用Pooling来减少每层的样本数,进一步减少参数数量,同时还可以提高模型的鲁棒性(鲁棒性指一个系统或组织有抵御原创 2020-05-17 12:44:00 · 724 阅读 · 0 评论 -
神经网络及反向传播算法
神经元是构成神经网络的基本单元,模拟生物神经元的结构和特性,接受输入信号并且产生输出。输入信号要进行加权和激活函数,然后才输出神经元的活性值。激活函数用来增强网络的表示能力和学习能力,需要连续可求导(允许少数点不可导)的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数(反向传播算法)。并且激活函数及其导数要尽可能简单,减少计算复杂度。然后激活函数的导函数要在一个合适区间内,保证训练的效率和稳定性。下面介绍几种常见的激活函数。sigimod型函数是一类两端饱和的s型曲线,有logist原创 2020-05-17 12:45:29 · 1028 阅读 · 0 评论