呱呱呱教程其二

线性回归

给定数据集 $D=\left\{({\mathfrak{x}}^1,y^1)\dots ({\mathfrak{x}}^i,y^i)\dots ({\mathfrak{x}}^n,y^n)\right\}$，线性回归试图学得$f({\mathfrak{x}}^i)=w{\mathfrak{x}}^i+b$ 使得$f({\mathfrak{x}}^i)\approx y^i$ 。
其中，运用最小二乘的方法确定公式中的 $w$ 和 $b$ 。
$$(w^{\ast },b^{\ast })=\underset{w,b}{\mathrm{argmin}}\sum _{i=1}^n(f({\mathfrak{x}}^i)-y^i)$$
通过对公式中的 $w$ 和 $b$ 求偏导且另其值为 0 可构建方程组，通过求解该方程组可得（公式敲起来真滴费劲）

将公式中的$\mathfrak{x}$换成矩阵，则可得到

对数几率回归

对数几率函数：

其中 $z$ 为 $w^{T}x+b$，其可以变化为：
$$\ln \frac{y}{y-1}=w^{T}x+b$$

该公式可以写为：
$$\ln \frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$$
因此可以用最大似然的方法对公式中的 $w$ 和 $b$ 进行估计。可以得到：
$$l(w,b)=\sum _{i=1}^m\ln p(y_i|x_i;w,b)$$
通过计算得到最大的概率可以获得。
通过令$\beta =(w;b),\hat{x}=(x;1)$ 公式 $w^{T}x+b$ 可以变换为${\beta }^T\hat{x}$ 。再令$p_1(\hat{x};\beta )=p(y=1|\hat{x};\beta )$ $p_0(\hat{x};\beta )=p(y=0|\hat{x};\beta )$则可得到

$$\ln p(y_i|x_i;w,b)=y_i{p}_1({\hat{x}}_i;\beta )+(1-y_i)p_0({\hat{x}}_i;\beta )$$
则最大化公式可以变为：
$$l(\beta )=\sum _{i=1}^m(-y_i{\beta }^T\widehat{x_i}+\ln (1+e^{{\beta }^T\widehat{x_i}}))$$
可以通过牛顿迭代法求解该式。

线性判别分析

多分类学习

多分类问题可以被拆解为若干个二分类问题，并最终拼接为一个多分类问题。
对于拆解的方法主要包括：一对一（OvO），一对其余（OvR），多对多（MvM）。

纠错输出码技术

将编码的思想引入类别拆分，使得在编码过程中具有较高的容错性。