李宏毅深度学习——分类

 分类可用于信用得分、医疗诊断、脸部识别等

input是宝可梦精灵，output是属性

能不能用这些得分来预测宝可梦的类别

属性相克表

利用回归，若数据input到regression的model里的数值接近于1就被分到第一类，若数据input到regression的model里的数值接近于0就被分到第二类里面

第二幅图，若分界线仍然为绿线，右下角这些点input到regression的model里，数值会远大于1。因此绿线会向下倾斜到紫线的位置上，这样效果并不好

mutiple class：存在问题class2和class1比较近，class3和class2比较近，实际上如果不存在这样的关系就会存在问题

损失函数就是指错误的次数

 

上面红色框的这四个值，我们希望通过training data来估测出来 ，接下去通过宝可梦的例子，来解释四个方框里面的概率是如何求出来的

 

利用防御力和特殊防御力来表示精灵

假设这些点是从高斯分布里面采样而来的

由正态分布推广的n维正态分布的概率密度函数(n>=2） 

其中X为拥有两个维度的随机向量，μ为期待值向量，∑为协方差矩阵。

利用79个点估计出均值和协方差矩阵，将这个new x代入这个function里面，可以算出这个点属于这个属性的概率（不是一个点）

 关于如何求解这个均值和协方差矩阵，需要使用最大似然估计的方法

求L这个函数的最大值，由此求出Sigma和mu的值 

 

就算是使用了宝可梦的7个feature结果仍然是不理想的 

要对模型进行适当修正来找出原因

为了使得最终的准确率提升，比较常见的做法是不同的class可以使用相同的sigma，不同的class使用不同的sigma会让参数变多，容易造成overfitting的情况

 

假设这些几率分布是independent的话，我们可以做这样的假设。

假设分开来都是一维的正态分布，那么原来那个高维度的高斯分布它的协方差矩阵的非对角线元素的值都是0，这样简化了模型，但是哦做出来的效果不好。

有个feature，是binary feature，就可以使用伯努利的分布

如果所有的维度都是独立的，那就使用朴素贝叶斯

 Warning of Math

 最终的结论：这也可以解释为什么sigma1=sigma2的时候，boundary是linear的