李宏毅机器学习-Task05

李宏毅机器学习

仅作为学习笔记，如有问题请指正
视频链接：

2019版
2021版

开源内容：

github
gitee
2021版
2021版

datawhale笔记
学习规划

Task01:机器学习介绍
Task02:回归
Task03:误差和梯度下降
Task04:深度学习介绍和反向传播机制
Task05:网络设计技巧
Task06:卷积神经网络
Task07:总结

机器学习介绍

• 左边这个部分叫training，就是学习的过程；
• 右边这个部分叫做testing，学好以后你就可以拿它做应用。
• 所以在整个machine learning framework整个过程分成了三个步骤。第一个步骤就是找一个function，第二个步骤让machine可以衡量一个function是好还是不好，第三个步骤是让machine有一个自动的方法，有一个好演算法可以挑出最好的function。
  
• learning map
  

网络设计的技巧

• 当优化不再下降-局部最小值和鞍点
  微分为0（临界点）
  如何区分？损失函数->Hessian(H矩阵)->特征值->(局部最小值，局部最大值，鞍点)
  鞍点顺着负特征值的特征向量方向可以减小损失函数，逃离鞍点。（要计算二阶偏导，很少用此避免鞍点）
• 批次与动量
  较小的批次数可以获得更好的训练模型-泛化性更好
  好的局部最小值&坏的局部最小值-鲁棒性
  梯度+动量
• 自适应学习率
  震荡
  使学习率可以根据梯度大小自动调整
  Adam:RMSProp+Momentum
  Learning Rate Scheduling:Learning Rate Decay,Warm Up
• 分类
  分类和回归的区别？
  交叉熵-分类损失
• 批次标准化-使error surface变的不那么崎岖
  特征归一化
  batch内部每个特征关联，batch之间相互独立