6-逻辑回归

逻辑回归

损失函数

逻辑函数与线性回归

损失函数能否用平方差

平方误差在距离target很远的时候，微分值非常小，会造成移动的速度非常慢，这就是很差的效果了。

判别模型VS生成模型

逻辑回归的方法称为Discriminative（判别） 方法

生成模型假设了遵循高斯分布，所以有一些情况，它会假设是概率小，机器自行脑补可能性

优劣

• 上面的实验判别法比生成法好，但其他情况判别不一定会比生成方法好

• 生成方法的优势：

  训练集数据量很小的情况；因为判别方法没有做任何假设，就是看着训练集来计算，训练集数量越来越大的时候，error会越小。生成方法会自己脑补，受到数据量的影响比较小。对于噪声数据有更好的鲁棒性（robust）。
  先验和类相关的概率可以从不同的来源估计。比如语音识别，可能直观会认为现在的语音识别大都使用神经网络来进行处理，是判别方法，但事实上整个语音识别是 Generative 的方法，DNN只是其中的一块而已；因为还是需要算一个先验概率，就是某句话被说出来的概率，而估计某句话被说出来的概率不需要声音数据，只需要爬很多的句子，就能计算某句话出现的几率。

多类别分类

有三个类别的时候应该怎么办？使用Softmax的方程

输入x，属于类别1的几率是0.88，属于类别2的几率是0.12，属于类别3的几率是0。

上一篇讲到如果定义类别1是 $y_1$,$\widehat{y_1}$, 类别2是 $y_2$, $\widehat{y_2}$，类别3是 $y_3$, $\widehat{y_3}$，这样会人为造成类别1 和类型2有一定的关系这种问题。但可以将 $\hat{y}$定义为矩阵，这样就避免了。而且为了计算交叉熵，$\hat{y}$也需要是个概率分布才可以。

x输入三个不同的分类

交叉熵

https://blog.csdn.net/tsyccnh/article/details/79163834

逻辑回归的限制

特征的某一些分布导致其无法进行处理

之前推到的概率公式，x是有特征量的x1 x2

直线无法区分

进行特征转换

可以将很多的逻辑回归接到一起，就可以进行特征转换。比如上图就用两个逻辑回归 对$z_1,z_2$来进行特征转换，然后对于 $x_1^{{}^{\prime }},x_2^{{}^{\prime }}$，再用一个逻辑回归zz来进行分类。

演变为神经网络

• 把每个逻辑回归称为一个 Neuron（神经元），把这些神经元连接起来的网络，就叫做 Neural Network（神经网络）。

演变为神经网络

• 把每个逻辑回归称为一个 Neuron（神经元），把这些神经元连接起来的网络，就叫做 Neural Network（神经网络）。