深度学习基础知识整理

神经网络基本知识

这是一个概括型整理的文章，从大体几个类介绍神经网络的基本知识。重点在理清神经网络的知识点。

万能逼近原理(Universal approximation theorem)

只需一个包含单个隐藏层的前馈神经网络，即可逼近任意一个连续函数

个人认为，这是证明深度学习有效性的前提

激活函数

常见激活函数有 sigmoid、tanh、ReLu (及其家族)、Softmax
使用激活函数重要性：激活函数使神经网络具有学习复杂非线性函数的能力
激活函数简介

神经网络的训练

损失函数

常见损失函数有 平方损失、绝对值损失、交叉熵损失
1.损失函数用来度量网络实际输出与期望输出之间的不一致程度，指导网络的参数学习和表示学习。
2.不同的损失函数会影响网络的训练速度和网络的泛化性能。
损失函数简介

梯度下降策略

常见的梯度下降策略有 批次梯度下降、随机梯度下降、小批次梯度下降
梯度下降策略简介

梯度下降优化算法

常见的优化算法有 动量、NAG、Adagrad、Adadelta、RMSprop、Adam
梯度下降优化策略简介

先填坑，后期更新