机器学习（四）：w·x+b模型（1）

假设输入空间$x\in R^n$，
对于分类问题，我们使用的假设空间为$H=\{h=sign(w^Tx+b)| w\in R^n, b\in R\}$
对于回归问题，我们使用的假设空间为$H=\{h=w^Tx+b|w\in R^n, b\in R\}$
其实际意义也比较简单：对于分类问题，用一个超平面将特征空间分成两个部分；对于回归问题，用一个超平面去拟合真实函数。
这类模型有：线性回归模型（linear regression）、逻辑回归模型（logistic regression）、感知器模型（perceptron）、支持向量机（SVM）等等。

---

下文中，training set为m个数据$(x^{(i)},y^{(i)}), i=1,2...,m$，其中w,x都是列向量。training set的矩阵形式是：

$$X= \begin{bmatrix}x^{(i)^T} \\...\\x^{(m)^T} \\ \end{bmatrix}, Y=\begin{bmatrix}y^{(i)^T} \\...\\y^{(m)^T} \\ \end{bmatrix}$$

{下文我们将交替使用J和$E_{in}$来表示损失函数}

1. 线性回归

线性回归用于解决回归问题。其输出y通常为实数。
为了方便起见，令$w_0=b, x_0=1$,此时$w, x\in R^{n+1}$

1.1 选择损失函数及学习策略

很明显地，使用平方损失函数，

$$J(w)=\frac 1m \sum_{i=1}^m(wx^{(i)}-y^{(i)})^2=\frac 1m ||Xw-Y||^2=\frac 1m(Xw-Y)^T(Xw-Y)$$ 我们的学习策略是：最小化J(w)。

1.2 使用的学习算法

1.2.1 梯度下降法