机器学习----线性模型

西瓜书阅读笔记 话不多说 开始吧~

线性模型

线性回归

dataset $D={(\bar{x}_1,y_1),(\bar{x}_2,y_2),...,(\bar{x}_m,y_m)}$， $\bar{x}_{i}={(\bar{x}_{i1};\bar{x}_{i2};...;\bar{x}_{id})}$. 试图获得一个线性模型去预测$y_i$
假设d=1 => f($wx_{i}+b$) 使得 $f(x_i)\approx y_i$
如何确定$w$ 和$b$呢？关键即是$f(x)$与$y$之间的差别。可用均方差误差：

$$(w^*,b^*)=\mathop{argmin}_{(w,b)}\sum_{i=1}^{m}(f(x_i)-y_i)^2=\mathop{argmin}_{(w,b)}\sum_{i=1}^{m}(y_i-wx_i-b)^2$$
均方误差===>最小二乘法：

$$\frac{\partial E(w,b)}{\partial w} \frac{\partial E(w,b)}{\partial b}$$

对数几率回归

写作logistic regression，虽是regression却是分类。是用线性模型去逼近真实标记的对数几率。
考虑二分类问题，其输出标记y∈{0，1}，以输出0.5为分类。

y为预测值，1-y为另一类预测值。y/(1-y)则是相对概率，取对数，我们就用线性模型去近似这个~

$$ln \frac{y}{1-y}=w^T+b$$
可得
$$y=\frac{1}{1+e^{w^Tx+b}}$$
这样理解logistic regression还是给人 哇~ 的感觉。

类别不平衡

1. 去掉些反例
2. 重复正例
3. y’/(1-y’)=y/(1-y)*m^-/m⁺ 进行再缩放