李宏毅机器学习06—Logistic Regression

一、逻辑回归

1.建立函数集

判断x属于的概率

和线性回归对比：

2.函数的好坏

已知一组训练数据

假定训练数据来自后验概率，已知一组w和b，求产生这组数据的概率。

最大可能性产生这组训练数据的w和b ：

函数整理、变换：

两个伯努利分布的交叉熵。

交叉熵：代表两个分布的接近程度

和线性回归对比

*线性回归中的1/2是为了方便求导

3.找到最好的函数

计算过程

和线性回归对比：

*直接用线性回归求导存在的问题：

 

用Square Error时（线性回归求导），在距离最优解很远的时候微分也会很小。

 

二、Discriminative和Generative（判别模型与生成模型）

判别式：逻辑回归

生成式：1.高斯判别模型   2.朴素贝叶斯

1.判别式与生成式对比

相同的模型，不同的函数

Discriminative（判别式）的效果更好一些。

举例：

用朴素贝叶斯的方法

认为测试数据属于class2。会出现这种结果，是因为样本分布不均匀。 

2.生成式的优点：

1.生成模型需要假定概率分布，因此相比判别模型，训练样本数对error的影响更小。

2.生成模型对有噪声的样本可以更好的忽视错误的label。

3.先验和类分类可以分别从不同的来源进行估计。

 

三、多分类（以3个分类为例）

交叉熵少了一个负号

 

四、逻辑回归的限制

上例做不到，不同分类的边界应该是一条直线。

对上例的处理：特征迁移

找到适当的特征迁移：将多个逻辑回归模型串联

举例：

这样就可以用逻辑回归进行分类了。

这就是神经网络。