线性回归
使用极大似然估计解释最小二乘
目标函数梯度等于0 求驻点 得到θ
增加λ扰动,可以解决若XTX不可逆或防止过拟合
假设:机器学习中的建模过程充斥着假设,合理的假设是合理模型的必要前提。
正则项L2正则 将线性回归的目标函数增加平方和损失:岭回归
lasso做特征选择 降维 L1正则
Elastic Net : L1正则和L2正则结合起来
梯度下降算法:初始化θ,沿着负梯度方向迭代,更新后的θ使得损失函数更小
BGD批量梯度下降算法
SGD随机梯度下降算法 优先选择SGD
mini-batch梯度下降算法 不是没拿到一个样本即更改梯度,而是若干个样本的平均梯队作为更新方向,则是mini-batch梯度下降算法 32 64个等选择样本
online学习 边拿到数据边学习