李宏毅机器学习（5）

Logistic Regression

步骤

Step 1:Function Set:

$f_{w,b}(x)=P_{w,b}(C_1|x)$ including all different $w$ and $b$
$f_{w,b}(x)=\sigma ({\sum }_i{w}_i\cdot x_i+b)$Output:0~1

Step 2:Goodness of a Function

$L(w,b)=f_{w,b}(x_1)f_{w,b}(x_2)(1-f_{w,b}(x_3))\dots f_{w,b}(x_n)$
要求$w^{\ast }$和$b^{\ast }$使$L(w,b)$最大。
$w^{\ast },b^{\ast }=argma{x}_{w,b}L(w,b)=argmi{n}_{w,b}-lnL(w,b)$
这种方法类似于最大似然估计。

所以：

最后得出$-lnL(b,w)={\sum }_n-[{\hat{y}}_{n}ln{f}_{w,b}(x_n)+(1-{\hat{y}}_n)ln(1-f_{w,b}(x_n))]$
${\hat{y}}_{n}ln{f}_{w,b}(x_n)+(1-{\hat{y}}_n)ln(1-f_{w,b}(x_n))$叫做交叉熵（$Crossentropy$）,可以衡量两个分布的接近程度。在上例中是在衡量两个伯努利分布的接近程度。

$Distributionp:$----------------------------------------$Distributionq:$
$p(x=1)={\hat{y}}_n$-------------------------------------------$q(x=1)=f(x_n)$
$p(x=0)=1-{\hat{y}}_n$-------------------------------------$q(x=0)=1-f(x_n)$
$crossentropy:H(p,q)=-{\sum }_{x}p(x)ln(q(x))$

Training data:$(x_n,{\hat{y}}_n)$
${\hat{y}}^n$:1 for class 1,0 for class 2
$L(f)={\sum }_{n}C(f(x_n),{\hat{y}}_n)$
$Crossentropy:C(f(x_n),{\hat{y}}_n)=-[{\hat{y}}_{n}lnf(x_n)+(1-{\hat{y}}_n)ln(1-f(x_n))]$

Step 3:Find the best function

$f_{w,b}(x)=\sigma (z)=\frac{1}{1+exp(-z)},z=w\cdot x+b={\sum }_i{w}_i\cdot x_i+b$
$\frac{\alpha ln{f}_{w,b}(x)}{\alpha w_i}=\frac{\alpha ln{f}_{w,b}(x)}{\alpha z}\frac{\alpha z}{\alpha w_i}$

其中$\frac{\alpha ln\sigma (z)}{\alpha z}=\frac{1}{\sigma (z)}\frac{\alpha \sigma (z)}{\alpha z}=\frac{1}{\sigma (z)}\sigma (z)(1-\sigma (z))=1-\sigma (z)$

$\frac{\alpha ln(1-f_{w,b}(x))}{\alpha w_i}=\frac{\alpha ln(1-f_{w,b}(x))}{\alpha z}\frac{\alpha z}{\alpha w_i}$
所以，$\frac{-lnL(w,b)}{\alpha w_i}={\sum }_n-[{\hat{y}}_n(1-f_{w,b}(x_n)x_{n,i})-(1-{\hat{y}}_n)f_{w,b}(x_n)x_{n,i}]={\sum }_n-({\hat{y}}_n-f_{w,b}(x_n))x_{n,i}$
$w_i\leftarrow w_i-\eta {\sum }_n-({\hat{y}}_n-f_{w,b}(x_n))x_{n,i}$
有趣的是，linear regression也是：$w_i\leftarrow w_i-\eta {\sum }_n-({\hat{y}}_n-f_{w,b}(x_n))x_{n,i}$

为什么不用Square Error？

因为在距离很远和很近是，$\frac{\alpha L}{\alpha w_i}$都为0，区分不了，而且迭代的速度会很慢。

Discriminative vs. Generative

相同：

• 模型都是$P(C_1|x)=\sigma (w\cdot x+b)$

不同：

• discriminative：直接找w和b
• Generative：先找${\mu }_1,{\mu }_2,\Sigma$，则$w^T=({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}$，$b=-\frac{1}{2}({\mu }_1{)}^T({\Sigma }_1{)}^{-1}{\mu }_1+\frac{1}{2}({\mu }_2{)}^T({\Sigma }_1{)}^{-1}{\mu }_2+ln\frac{N_1}{N_2}$

然而用两种方法得到的$w$和$b$会不一样，因为做了不同的假设。
一般是discriminative model更好，因为generative会自己脑补，用的是Naive Byes。
但如果training data很少，generative更好。

Multi-class Classification(3 classes as example)

刚才的例子都是二元分类的，但如果是多元分类做法会有所不同。


其中，${\hat{y}}_n$是target值。
logistic regression的限制：分界线只是一条直线，这就会导致有的情况无法处理，如下图：

解决方案（Feature transformation）：改变Feature Space，如：$\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\to \left[\begin{array}{c}{x}_1^{{}^{\prime }}\\ x_2^{{}^{\prime }}\end{array}\right]$

这只是一种简单的分类法，有时候要将多个model串联起来，前一个model的output作为后一个model的input，最终改变data的Feature。
从图中看出，每个model形同人脑细胞Neuron，所以这就是Neural Network Deep learning。