线性回归-判别模型
损失函数 (常用损失函数--平方误差)
优化目标
优化过程:梯度下降
学习率步长可调----过大会反复横跳,过小收敛过慢
批量梯度下降(对所有的xi同时偏导)--平滑稳定但慢
随机梯度下降(对某个xi偏导)---更快,但有不确定性或震荡
小批量梯度下降--可并行
验证模型好坏
训练集上平均误差和测试集上平均误差
model selection---防止过拟合、欠拟合
高次、分类、寻找隐藏因素
正则化惩罚项--更平滑
对于线性回归--凸函数-----全局最优解
对于非线性回归(高次)-局部最优解