线性模型

前言

双旦有点放飞自我，顺便回家了一趟，是该收收心继续搞了，第二章里面内容很丰富，虽然看起来只有不到二十页。

基本形式

基本形式：
$f(x)=w_1x_1+w_2x_2+w_3x_3+...+w_dx_d+b$,
给定由d个属性描述的示例$x=(x_1;x_2;...;x_d)$,其中$x_i是i在第i个属性上的取值，线性模型试图学的一个通过线性组合来进行预测的函数$
向量形式：
$f(x)=w^Tx+b$,通过求得$w^T和b$确定模型。
通过w可以反映出各属性的重要性。

回归模型

1.线性回归
多元线性回归模型：对于数据集$D=${$(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$},其中$x_i=(x_{i1};x_{i2};...;x_{id})$
通过学的$f(x_i) =w^Tx_i+b$，使得$f(x_i)=y_i$（即预测值接近于真实值）
$令\hat x=(w;b)$
输入数据集S=

$$\begin{pmatrix} x_{11} & x_{12} & x_{13} &\cdots&x_{1d}&1\\ x_{21} & x_{22} & x_{23} & \cdots&x_{2d}&1\\ \vdots&\vdots&\ddots&\vdots&\vdots \\ x_{m1}&x_{m2}&x_{m3}&\cdots&x_{md}&1\\ \end{pmatrix}$$ = $$\begin{pmatrix} x_1^T&&1\\ x_2^T&&1\\ \vdots&\vdots\\ x_m^T&&1\\ \end{pmatrix}$$ 标记： $y=(y_1;y_2;\cdots;y_m)$
则有： $\hat w^* _{min}=arg min_{\hat w}(y-X \hat w)^T(y-X \hat w)$
对w求极值，得到如下解： $\hat w^* _{min}=（X^TX）^{-1}X^Ty$
令 $\hat x_i =(x_i;1)$得到最线性回归模型： $f(\hat x_i )=\hat x_i ^T(X^TX)^{-1}X^Ty$
对数线性回归： $lny=w^T+b$
广义线性模型：对于单调可微函数 $g(·)$（联系函数），令 $y=g^{-1}(w^Tx+b)$

2.对数几率回归(logistic regression)
对于二分类情况：在广义线性模型中，找到一个单调可微的函数将任务的真实标记$y$与线性回归模型的预测值联系起来。输出标记$y\in \{0,1\}$，我们将线性回归的预测值转换为0/1值。
理想的“单位阶跃函数”：

$$f(n)= \begin{cases} 0,&\text{z<0}\\ 0.5,&\text{z=0}\\ 1,&\text{z>0} \end{cases}$$

sigmoid函数：将线性回归模型的输出结果转化为接近0或1的值， $y=\frac{1}{1+e^{-z}}$，即 $y=\frac{1}{1+e^{-（w^Tx+b）}}$,该式可变化为：
$$ln \frac{y}{1-y} =w^Tx+b$$
$若将y视为样本的x作为正例的可能性，则1-y是其反例的可能性，两者的比值：\frac {y}{1-y}，称为几率，反映了x作为正例的相对可能性。对数几率：ln \frac{y}{1-y}$.
极大似然法估计w和b：
$$ln \frac{p(y =1|x)}{p(y=0|x)}=w^Tx+b$$
则： $p(y =1|x)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}},p(y =0|x)=\frac{1}{1+e^{w^Tx+b}}$
每个样本属于其真实标记的概率越大越好，为了求解方便，取对数似然： $l(w,b)=\sum_{i=1}^m lnp(y_i|x_i,w,b)，令 \beta =(w,b),\hat x=(x;1)，w^Tx+b =\beta^T \hat x$。

$令p_1(\hat x;\beta) =p(y=1|\hat x;\beta),p_0(\hat x;\beta) =1-p(y=1|\hat x;\beta),$
则l(w,b)可以重写为：$p(y_i|x_i;w,b)=y_ip_1(\hat x_i;\beta)+(1-y_i)p_0(\hat x_i;\beta).$

则最小化$l(w,b)=l(\beta)$=$\sum_{i=1}^m (-y_i \beta^T \hat x_i +ln(1+e^{\beta^T \hat x_i})$，通过梯度下降法或牛顿法可以求得最优解(梯度下降法和牛顿法下一次分享），于是我们得到：$\beta^* =arg_{\beta} minl(\beta)$
梯度下降法迭代公式：$\beta ^{t+1}=\beta^t-\lambda \frac{\partial l(\beta)}{\partial \beta}，(其中\lambda人工设定)$
牛顿法迭代公式：$\beta ^{t+1}=\beta^t- （\frac {\partial^2 l(\beta)}{\partial \beta \partial \beta^T})^{-1}\frac {\partial l(\beta)}{\partial \beta}$