机器学习_线性回归

线性回归：

有监督学习=>学习样本为

输出/预测的结果为连续值变量

需要学习映射

假定输入和输之间有线性相关关系

测试/预测阶段：

对于给定的x,预测其输出：
多变量情况：

损失函数(Loss Function)

要找到较好的权重/参数

把到的映射函数记作的函数

定义损失函数为：

平方损失

最小化损失函数—线性回归情况下为凸函数

线性回归与GD

梯度下降：逐步最小化损失函数的过程

过程：


Repeat until convergence{


}

回归欠拟合与过拟合(underfitting VS overfitting)

正则化：

控制参数幅度

限制参数搜索空间


加入正则化项 正则化的程度

逻辑回归—有时候需要解决分类问题Decision Boundary

Sigmoid

损失函数 如果用平方损失，则此函数是非凸的。