机器学习task1：线性回归

1.线性回归的模型函数

假设有$n$个样本，每个样本对应于$d$个维度和一个输出$y$，构成数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } \{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} {(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}。若$y$是连续的，我们希望$x$与$y$的关系能够用下面这种形式描述：
$\begin{array}{rl}f(x)& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_d{x}_d\\ & =\sum _{i=0}^d{\theta }_i{x}_i\end{array}$
这是一个线性回归模型。
需要选取$\theta$的值，使得$f(x)$尽可能接近y的值。通常采用均方误差作为回归中常用的性能度量，即：
$$J(\theta )=\frac{1}{2}\sum _{j=1}^n(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

也就是说，我们的目的是选择$\theta$使得均方误差最小化。

2.线性回归的代价函数与目标函数

损失函数(Loss Function)：度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数(Cost Function)：度量全部样本集的平均误差。
目标函数(Object Function)：代价函数和正则化函数，最终要优化的函数。正则化是为了防止过拟合。

3.线性回归的几种优化方法

梯度下降法

$\theta$迭代公式：
$${\theta }_j={\theta }_j+\alpha \sum _{i=1}^n(y^{(i)}-f_{\theta }(x{)}^{(i)})x_j^{(i)}$$
下标j表示第j个参数，上标i表示第i个样本。
向量形式表示为
$$\theta =\theta +\alpha \sum _{i=1}^n(y^{(i)}-f_{\theta }(x{)}^{(i)})x^{(i)}$$

上式是对应所有的训练样本，称为批梯度下降法。
每一次对单个样本进行迭代更新成为随机梯度下降法，迭代公式为
$$\theta =\theta +\alpha (y^{(i)}-f_{\theta }(x{)}^{(i)})x^{(i)}$$
批量梯度下降—最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。

随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。

最小二乘法

$\theta$迭代公式：
$$\theta =(X^{T}X{)}^{(-1)}{X}^{T}Y$$

牛顿法

$\theta$迭代公式：
$$\theta =\theta -\frac{l^{\prime }(\theta )}{l^{\prime \prime }(\theta )}$$
$l(\theta )$是损失函数。

关于原理和优化算法，感觉有两篇详细的博客。
博客1
博客二