线性回归:
有监督学习=>学习样本为
输出/预测的结果为连续值变量
需要学习映射
假定输入和输之间有线性相关关系
测试/预测阶段:
对于给定的x,预测其输出:
多变量情况:
损失函数(Loss Function)
要找到较好的权重/参数
把到的映射函数记作的函数
定义损失函数为:
平方损失
最小化损失函数—线性回归情况下为凸函数
线性回归与GD
梯度下降:逐步最小化损失函数的过程
过程:
Repeat until convergence{
}
回归欠拟合与过拟合(underfitting VS overfitting)
正则化:
控制参数幅度
限制参数搜索空间
加入正则化项 正则化的程度
逻辑回归—有时候需要解决分类问题Decision Boundary
Sigmoid
损失函数 如果用平方损失,则此函数是非凸的。