李宏毅机器学习笔记:回归 ——梯度下降法 过拟合 正则化
源学习笔记链接: https://datawhalechina.github.io/leeml-notes/#/chapter3/chapter3.
学习笔记总结:
李宏毅机器学习课程第3节 回归
- 以回归为脉络引出重要的梯度下降法 随机选择一个参数起始点,在损失函数 模型参数中去寻找模型的最优化参数,根据起始点的偏微分值从而决定下一个参数设置值,学习率的大小决定了寻找最优化参数的速度
- 梯度下降法应用广泛,但受限于初始点的设置会有不同的局部最优解,但对线性回归模型不存在这方面的困扰
- 解决模型过拟合的一个重要手段 是正则化,正则化可以使得模型更平滑,从而对测试集中非常规的输入值有更好的稳定性,而不会产生过大的预测误差。 设置正则化参数时不宜过大也不宜过小,需根据实际情况去选择最优的正则化参数