李宏毅深度学习——classification（分类）

写在前面

这是李宏毅深度学习分类部分的内容，祝大家学习愉快！

笔记部分

分类，顾名思义，就是给一堆数字，把他们分成若干个类。它常被用于图像识别等应用场景中，举个最简单个例子，我现在给了一堆图像进行训练，我去“教”这个模型认识这个东西，比如说，这些图片是狗，这些图片是猫，这就是一个分类问题，在训练完我们这个模型之后，我们比如说拿出一个猫的图片，给大模型识别，也就是将这个图片归类，这也是一个分类问题。

那么具体是怎么实现的呢

我们以最简单的分成两类为例，比如说我们给出两类数据，每个数据我们只考察他的两个特征，也就是说，于是，我们就可以画出这样的图像：

我们就是把这样的一组每个数据都是两个特征的数据分成两类，就是比如说这个，我们就是要分出一条线，把这两类给分开，当然，一般的数据没有这么随机，大多是长这样：

我们可以看出来，这组数据都是大体上成一种高斯分布，并且说两组数据看起来均值好像是有一些差距。那么，我们该怎么做呢

比如说，我们就以这两组作为训练数据，再随机找一个点作为我们的验证数据，这就是我前面所提到的，用一堆图片训练，再找一个图片进行识别，看这个图片属于哪一类的概率大一些，所以这个本质上就是一个概率问题。一般分类问题都是使用贝叶斯公式，我们来这么理解：

根据贝叶斯公式，我们需要知道的是，在C1/C2的条件下抽出x的概率，和这两个类（C1和C2）本身出现的概率。

我们先看P(C1)和P(C2),这个就是统计这两个类在总的数据中出现的概率，比如说一共100个数据，25个属于C1，75个属于C2，那么P(C1)==1/4,P(C2)==3/4;那么这个P(x|C1/C2)怎么做呢，在C1/C2的条件下抽出x的几率，我们就考虑这个C1，我们取一维来简化计算：

我们现在要分类的目的，就是在这个里面，比如说在识别的时候取一个点，通过这个图来看看在这个条件下（也就是如果这个点是从C1抽出来的，那么这个概率就是多大（P(x|C1)））抽出来的概率有多少，同理C2，最后通过贝叶斯公式算出来，如果抽出一个值，他属于C1的概率有多大

那么我们接下来的工作重点就是求出这个概率，我们一般情况下假设他为高斯分布，也就是这样：

然后在李宏毅原来的视频中提到了maximum likelyhood，也就是数据最集中的那个点的可能性也就最大，经过一顿推导，发现就是平均值。

接下来就是我们要看一下Likelyhood的函数（这里不是loss函数）        

然后发现这个结果并不是很理想，于是就做出了另一个尝试，把两组数据的协方差矩阵合并成一个，也是用maxLikelyhood得出，这个协方差矩阵就是两个协方差矩阵在各自数量上的加权平均值。

然后结果变成线性的来，效果非常好

所以，这就是分类的三个步骤

然后我们再去看贝叶斯公式，我们可以做亿点变形：

我们找到了一个线性的东西，这个概率也就是我们常说的Sigmoid函数

那么，我们直接找这个sigmoid函数不就可以了吗

注意哈，从这往下的所有f表示的是我们通过训练得到的函数，不是分布函数！

我们对一组随机的数据进行分析，有一些属于C1，另一部分属于C2，然后：

我们取ln：（带一下这个0和1会发现左边和右面是等价的）

我们取ln，之后相加，由这些推倒结果得出了这个评价accuracy的函数，然后取负号，就是loss，这个也叫做两个伯努利分布之间的交叉熵。如果不太理解的话跟经典的对比一下就知道了

为啥要用这个loss函数呢，说是这样的效果好，至于为啥呢，这里不再做详细的推导了，感兴趣的话可以看这篇：https://arxiv.org/pdf/2304.07288

（对了，我打算之后出一个系列，就是解读经典论文的笔记，希望大家多多支持！）

如果是多个类呢，这时候就要用到一个函数叫做softmax：

这个就是，一个类似于三个类的贝叶斯推出来的一个东西

所以，整体的流程大概长这样：

如果分不开的话可以用feature transformation，就是找到一种方法将其分开（可以看一下这个，因为说来话长）

特征工程：常用的特征转换方法总结_特征变换-CSDN博客

然后上课还提到了Generative Model 与 Discriminative Model的区别，可以看一下这篇文章：

https://zhuanlan.zhihu.com/p/146503132#:~:text=Generative

写在后面

这节课就大致掌握一下分类的过程就可以了，具体的细节我可能会单独出一个系列，李宏毅老师在原来的课堂上也没有讲的特别严谨。

祝大家学习愉快！也请各位大佬批评指正！