李宏毅机器学习课程梳理【五】：逻辑回归与神经网络

摘要

针对预测未知宝可梦类别，Discriminative比Generative准确率高问题，本文研究了Discriminative与Generative各自的优势。进而研究多个分类的方法步骤。最后根据Logistic regression的局限性，引入神经网络。

1 Discriminative与Generative比较

1.1 利用Naive Bayes Classifier分类举例

如图中给出的数据，求解需计算$P(C_1|x)$，根据贝叶斯公式计算得到的数小于0.5，故认为Testing Data应该属于Class2。Naive Bayes Classifier属于Generative Model，Generative认为之所以会出现这种结果是因为训练集数据太少，由此可窥见Generative的一些特点。

1.2 Discriminative与Generative的特点

$P(C_1|x)=\sigma (w\ast x+b)$

1. Generative: 会根据数据假设一个概率模型，类似脑补。在下面三种情况结果会比Discriminative理想：其在训练集数据少时，准确率相对高，Generative受Data影响较小；其在训练集数据有噪声时，也就是label本来就有问题时，准确率相对高，Generative做一些假设，受噪声影响反而小；其在自然语言处理NLP中优势明显，因为Generative允许Prior与Class-dependent probability在收集数据时有不同来源（文字；声音）
2. Discriminative: 直接找$w$和$b$，线性边界，完全依照Data

2 Multi-class Classification Opreation

以分类Class1，Class2，Class3为例，为每个class设不同的参数weight和bias，将model set记作$z_1,z_2,z_3$，它们能够取到任何值，将它们作为Softmax的输入，输出的$y_1,y_2,y_3$为对应分类的概率。过程如下图。

Softmax能强化差距，而输出的$y_i$由于指数函数的作用，直接是概率，即$y_i=P(C_i|x)$

3 Neural Network

3.1 由Logistic Regression想到Neural Network

有些训练集数据中class的feature选择得不合理，导致Logistic regression的线性边界无法得到分类结果。利用多层Logistic regression做Feature Transform解决，即组成了神经网络。
上图中，以$x_1,x_2$作特征无法逻辑回归分类，但如果利用Sigmoid函数并不断调整参数，可以实现找到可以分类的$x_1^{\prime },x_2^{\prime }$，再连接一个Sigmoid函数进行逻辑回归，得到分类结果。

4 展望

接下来将进行了解深度学习，训练神经网络等等的学习。