机器学习理论笔记（1）

线性模型和最小二乘法

Given input: $X^T=(X_1,X_2,\dots,X_p)$
Predict output:$Y$
Via:

$$\hat Y=\hat {\beta_0}\sum_{j=1}^pX_j\hat{\beta_j} \tag{1.1}$$
$\hat {\beta_0}$表示截断（intercept）or 偏差（bias）
为方便起见，我们让$X$中包含常量$1$，那么就有

$$\hat Y=X^T\hat{\beta} \tag{1.2}$$
对于输出输出对 $(x,y)$的最小二乘方法是：
$$RSS(\beta)=\sum^N_{i=1}(y_i-x_i^T\beta)^2 \tag{1.3}$$
那么求解次最小二乘问题的解是：
$$\hat{\beta} =(X^TX)^{-1}X^Ty \tag{1.4}$$

分类问题

参考图片中线性分类模型，我们规定两部分函数值（蓝色=0，橙色=1）。用线性回归模型来拟合，决策边界线是$x^T\hat{\beta}=0.5$，把所有的点分成0,1两类，线的一侧为0，另一侧为1，由已知点极小化分类误差$RSS(\beta)$可以得到唯一一条直线，然后对整个空间进行分类。
这种回归分类方法简单但是适应性差。