深度学习之基础知识

前馈神经网络(FeedForwardNeuralNetwork)是一种单向多层的网络结构，即信息是从输入层开始，逐层向一个方向传递，一直到输出层结束。所谓的“前馈”是指输入信号的传播方向为前向，在此过程中并不调整各层的权值参数，而反传播时是将误差逐层向后传递，从而实现使用权值参数对特征的记忆，即通过反向传播(BP)算法来计算各层网络中神经元之间边的权重。BP算法具有非线性映射能力，理论上可逼近任意连续函，从而实现对模型的学习。

5.感知器

感知机，是一种结构最简单的前馈神经网络，它主要用于求解分类问题。

一个感知器可以接收n个输入x(x.2....xn)，对应n个权值w=(w1,w2,...,wn)，此外还有一个偏置项阈值，就是图中的b，神经元将所有输入参数与对应权值进行加权求和，得到的结果经过激活函数变换后输出，计算公式如下: y=f(x*w+ b)

●神经元的作用可以理解为对输入空间进行直线划分，单层感知机无法解决最简单的非线性可分问题——异或问题

●感知器可以顺利求解与(AND)和或(OR)问题，但是对于异或(XOR)问题，单层感知机无法通过一条线进行分割

6.训练方法神经网络

批量梯度下降法
随机梯度下降法
Mini-batch梯度下降法

7.激活函数

激活函数通常有以下性质：

非线性
可微性
单调性
f(x)≈x
输出值范围
计算简单
归一化

激活函数经常使用Sigmoid函数、tanh函数、ReLu函数。

8.Sigmoid函数

9. 双曲正切函数

10. ReLU函数

11. Leaky RuLU函数

12. Maxout函数

13. 如何选择激活函数？

通常使用ReLU函数，并注意设置好学习率。
如果存在死亡神经元的问题，就尝试Leaky ReLU或Maxout函数。
尽量避免使用Sigmoid函数。
tanh函数大部分情况下效果不如ReLU或Maxout函数

14.损失函数

15.softmax

16. 交叉熵

17.均方差损失函数

18.学习率

学习率控制每次更新参数的幅度，过高和过低的学习率都可能对模型结果带来不良影响，合适的学习率可以加快模型的训练速度。

常见学习率调整方法：

基于经验的手动调整
固定学习率
均分分步降低策略
指数级衰减
多项式策略
AdaGrad动态调整
AdaDelta自动调整
动量法动态调整
RMSProp动态调整
随机梯度下降
Adam自动调整

19.Adam

20.过拟合

指模型在训练集上预测效果好，但在测试集上预测效果差。

21.常用的防止过拟合的方法

参数范数惩罚
数据增强
提前终止
Bagging等集成方法
Dropout
批正则化

22.模型训练中的问题

选择恰当的激活函数
权重初始化
学习率
梯度消失和梯度爆炸
Dropout
正则化
bach normalization
周期/训练迭代次数
训练过程可视化
局部极小值

23.权重初始化

24.梯度消失和梯度爆炸

链式法则：当权重过小或过大，会分别导致梯度消失和梯度爆炸。

25. 防止梯度消失和梯度爆炸的方法

重新设计网络模型
使用ReLU激活函数
使用长短期记忆网络
使用梯度截断
使用权重正则化

26.正则化

27. batch normalization

28.dropout

29.模型训练中遇到问题

每一批次数据训练后会得到损失函数的结果，对其进行统计，并计算出当前阶段的准确率，输出到屏幕上，在所有训练结束后再输出整体的准确率结果。如果在训练过程中发现存在异常可以直接中止训练过程，避免浪费时间。

30.神经网络效果评价

用于分类的模型评价以准确率(Accuracy)、精确率(Precision)、召回率(Recall)， F1分值(F1 Score)为主，辅以ROC、AUC并结合实际应用进行结果评价
如果神经网络用于聚类，数据源并没有进行标记，那么其模型结果的评价按照聚类算法的标准来操作，如RMSSTD、 R Square、SRP等
随着机器学习在不同领域中的应用，其评价方式需要与实际业务相结合,通过确定目标要求来定量设计评价标准，例如在目标检测等方面使用平均曲线下面积(mean Average Precision, mAP)指标进行衡量识别准确性