Machine Learning Course-CS 156 笔记 3

Lecture 3 : The Linear Model I

视频地址：https://www.youtube.com/watch?v=FIbVs5GbBlQ

---

输入形式

一个数据集：

每个数字尺寸是 $16\times16$，也就是 $256$个值。

‘raw’ input $X=(x_0,x_1,x_2,...,x_{256})\qquad\qquad (x_0=1)$
linear model : $(w_0,w_1,w_2,...,w_{256})$

特征 ： 提取有用的信息。
例如强度和对称性：$X=(x_0,x_1,x_2)$
此时 $W=(w_0,w_1,w_2)$
$x_1$是强度 ， $x_2$是对称性。下图是1和5的区别。

---

线性分类

PLA的应用：
- $E_{in}$ 和 $E_{out}$ 的演化

- 最终的边界

- Pocket 算法
保存迭代过程中的最优解

---

线性回归

regression $\equiv$ real-valued output

继续用银行信用举例
- 分类：是否有信用
- 回归：信用额度

Input： $x$

年龄	性别	年薪	定居时间	债务	…
23岁	男	$30000	1年	$15000	…

Output:

$$h(x)=\sum_{i=0}^d w_i x_i=W^T X$$

数据集： $(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$

误差函数： 利用 $(h(x)-f(x))^2$

$$E_{in}(h)=\frac{1}{N}\sum_{n=1}^N(h(x)-f(x))^2$$

$E_{in}$ 的表示：

$$E_{in}(W)=\frac{1}{N}\sum_{n=1}^N(W^T x_n-y_n)^2\\ \quad=\frac{1}{N}||XW-Y||^2$$
其中
$$X=\begin{bmatrix} \cdots & x_1^T & \cdots \\ \cdots & x_2^T & \cdots \\ &\vdots\\ \cdots & x_N^T & \cdots \end{bmatrix} \quad,\quad Y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots\\ y_N \end{bmatrix}$$

最小化 $E_{in}$

$$令\nabla E_{in}(W)=\frac{2}{N}X^T(XW-Y)=0\\ X^TXW=X^TY\\ 即W=X^{\dagger}Y,其中X^{\dagger}=(X^TX)^{-1}X^T$$
$X^{\dagger}是X的伪逆矩阵(以防X是非可逆矩阵)$

关于伪逆矩阵
https://en.wikipedia.org/wiki/Generalized_inverse
https://en.wikipedia.org/wiki/Moore%E2%80%93Penrose_inverse

线性回归算法：
1.构建 $X$ 矩阵和 $Y$ 矩阵
2.计算伪逆矩阵 $X^{\dagger}=(X^TX)^{-1}X^T$
3.返回 $W=X^{\dagger}Y$

线性回归也可以用于分类

---

非线性变换

线性是受限的，比如：

在银行信用额度示例里，居住年限是非线性影响额度的

将 $(x_1,x_2)\stackrel{\Phi}{\longrightarrow}(x_1^2,x_2^2)$ 上图变为：