机器学习-深度学习

1、深度学习知识架构

2、线性回归

 

 能够同时预测多个目标，进行多目标学习，通过合并多个任务loss，一般能够产生比单个模型更好的效果。线性回归能够清楚的描述分割线性分布的数据，对非线性分布的数据描述较弱。

3、从线性到非线性-非线性激励

 常用的非线性激励函数：

 （1）Sigmoid

 （2）tahn

 

（3）ReLU(Rectified Linear Units)线性整流函数,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

 

 （4）Leaky ReLU 带泄露整流函数

4、神经元-神经网络

 5、神经网络的”配件“

（1）损失函数（Softmax：使分类问题的预测结果更明显；Cross entropy：处理目标为[0,1]区间的回归问题，以及生成）

 （2）学习率（数值大：收敛速度快，数值小：精度高）

如何选用合适的学习率步骤：1.Fixed  2.Step   3.Adagrad   4.RMSprop

（3）动量

正常：x += -learning_rate * dx

另一种：v = mu * v - learning_rate * dx

（4）过拟合

预测的结果好与不好，要看两个因素：bias和variance，如果bias大，variance小，欠拟合；如果bias小，variance大，过拟合；最好结果是bias和variance都小。

过拟合-应对：

①Regularization

 ②Dropout（本质是Regularization）

Dropout每次丢掉一半的一隐藏层神经元，相当于在不同的神经网络上进行训练，减少了神经元之间的依赖性，即每个神经元不能依赖于某几个其他的神经元（指层与层之间相连接的神经元），使神经网络更加能学习到与其他神经元之间的更加健壮的特征。

典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout