李宏毅深度学习——学习笔记(逻辑回归)

逻辑回归

逻辑回归是什么？逻辑回归的经典案例

逻辑回归其实是一种分类的方法，最常见的是二分类，例如判断一条影评的好坏（好就输出1，坏就输出2），或者判断一个人是否得病。

逻辑回归和线性回归的关系是什么？

就小编的理解来说：
线性回归模型是求一组系数，这组系数对X（输入量）经过一系列的运算以后输出线性的Y（输出量）。
逻辑回归则是将Y变成了离散的输出，就是输出固定的值。也就达到了分类的目的。

课程学习

先对有关涉及到前面课程内容的知识进行回顾

Gaussian distribution中文直译为高斯分布，----其实就是正态分布

posterior probability叫做后验概率
在这里简述一下：后验概率就是在得到结果之后重新对先验概率修正的概率。
关于对posterior probability 的理解，在CSDN上发现了了一篇很不错的博客有写到
https://blog.csdn.net/u011995719/article/details/76732663
课程中前一章分类里有讲到，但没有讲太细，不是特别理解的同学可以看这篇博客哦。

Gaussian distribution中文直译为高斯分布，----其实就是正态分布

Bernoulli distribution其实也就是我们所熟悉的 二项分布。

Cross Entropy 叫做 交叉熵，关于交叉熵的理解可以看
https://blog.csdn.net/tsyccnh/article/details/79163834 ，这一篇博客写的还是蛮详细的。

建立逻辑回归模型

建立初始模型

所谓的建立模型，其实就是为方程确定一系列的参数，也就是下文所提到的w and b。
首先来看一个重要的函数，也正是这个函数，将逻辑回归模型与线性回归分开，就是Sigmoid函数。

函数的图像如下：

先来看一下要建立的模型的基本样子!
也就是输入x（一定一定要注意x是一个样本，有好多特征值），经过function以后得到的x在c1中的概率。也就是的值。
再来看一下课程中另一个比较重要的式子
在这个式子中你会发现w和x的都是有下标的（不是上标！！！）所以，在这里，这个x是一个样本每一个带有下标的都是特征值。W是一组数，是权重（每个特征所占的百分比）
相信根据下面这张图，你能更好的理解这第一步

决定模型建立的好坏

这一步的目的就是：找一个合适的损失函数，为我们的模型所用。
要有一个训练集，并且训练集中的每一个元素都已经被分好类了。
如图所示
（注意这里的x是带有上标的，与之前带有下标的x不同，这里的每一个x都有它自己所对应的一组特征值。）
接下来，假定一组w和b来算一下这一组w和b产生这样的训练数据的概率。

如果有哪一组w和b使能得到最大值，那么也就是我们要找的了。
下面又到了紧张刺激的数学环节
之后，将C1的值设为1，C2的值设为0。
找到其实也就是找!
注意接下来有句话很重要，要是一不留神没有听到，就会很蒙的
这个式子中的f（x）是省略掉w和b的，不要以为和前面的那个不一样。
最后，就把那个要求的min化为了
其中的每一项，叫做交叉熵，交叉熵的作用就是求和的相似程度。不难看出来，这里的P就是真实的训练集的数据，而q则是我们预测的数据。当p和q越相似的的时候，交叉熵的值越接近0。
第二步如图所示

可以大致归纳为：通过算预测函数和真实数据的交叉熵来判断我们w和b选择的好坏。

找到最好的模型

为了找到最小的那一组w和b，我们需要用到数学知识。
在数学中如何找到那个最小值，当然就是求导啦，如图所示求对Wi（权重）的偏微分，利用梯度，找到下降最快的方向，不断地沿着方向前进就好啦。不断更新你自己的Wi就可以得到使最小的那一组Wi。
………………
………………
经过一系列复杂的数学计算得到了下面的式子

这个式子在之前的课件中出现过，不断地调用这个式子，就可以求出使错误率最低的Wi了。

逻辑回归大概就是这样了。