西瓜书第三章线性模型（线性回归和对数几率回归）

1.线性回归

问题定义：给定数据集$D=(x_1,y_1),x_2,y_2,......,(x_m,y_m)$,其中，$x_i=(x_{i_1};x_{i_2};......;x_{i_d},y_i\in \Re$.“线性回归”（linear model)的目标即预测实值输出标记（该值为连续性数值）。

---

线性回归试图使$f(x_i)=w{x}_i+b$，使得$f(x_i)\simeq y_i$。
怎么确定$w,b$呢？关键在于衡量$f(x)与y$之间的差异。西瓜书中用均方误差来度量$f(x_i)$与$y$之间的差异，基于均方误差最小化来进行模型求解的方法被称为“最小二乘法”，所以线性回归又被称为最小二乘回归。
$（w^{\ast },b^{\ast })$
$=argmi{n}_{(w,b)}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2$
$=argmi{n}_{(w,b)}{\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$

2.对数几率回归

对数几率回归，虽然这个算法从名字上来看，是回归算法，但其实际上是一个分类算法。
问题定义：考虑二分类任务，其输出标记 y ∈ { 0 ， 1 } y \in \{0，1\} y∈{0，1},而 前面的线性回归模型产生的预测值$z=w^{T}x+b$是连续实值。

---

通过sigmoid函数$y=\frac{1}{1+e^{-(w^{T}x+b)}}$就把线性回归表达式的实值输出结果压缩成了一个0-1之间的小数。但这样还是没有实现分类的效果，所以我们需要加一个“阈值“，若输出值大于这个阈值，那么就将其结果判断为1，反之判断为0，一般这个“阈值“都是0.5。
该sigmoid函数可变化为：
$$ln\frac{y}{1-y}=w^{T}x+b$$
若将y视为样本x作为正例的可能性，则1-y是其反例可能性，两者的比值称为几率，反映了x作为正例的相对可能性，取对数则得到对数几率
$$ln\frac{y}{1-y}$$
那么如何确定w,b呢？
$$ln\frac{y}{1-y}=w^{T}x+b$$
$$ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$$
显然有
$$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$
$$p(y=1|x)=\frac{1}{1+e^{w^{T}x+b}}$$
可以通过极大似然估计法来估计$w,b$.给定数据集 { ( x i , y i ) } i = 1 m \{(x_i,y_i)\}_{i=1}^m {(xi​,yi​)}i=1m​,
似然函数$\psi (w,b)={\sum }_{i=1}^{m}lnp(y_i|x_i;w,b)$
即令每个样本属于其真实标记的概率越大越好。
为了方便，令$\beta =(w;b),\hat{x}=(x;1)$,则$w^{T}x+b$可简写为${\beta }^T\hat{x}$,再令$p_1(\hat{x};\beta )=p(y=1|\hat{x};\beta )$,$p_0(\hat{x};\beta )=p(y=0|\hat{x};\beta )=1-p_1(y=1|\hat{x};\beta )$，则上述似然函数中的似然项可写为：
$$p(y_i|x_i;w,b)=y_i{p}_1(\widehat{x_i};\beta )+(1-y_i)p_0(\widehat{x_i};\beta )$$
最后可得式子
$$\psi (\beta )=\sum _{i=1}^m(-y_i{\beta }^T\widehat{x_i}+ln(1+e^{{\beta }^T\widehat{x_i}}))$$
最小化该式即可得到$\beta$。