【笔记】李宏毅机器学习与深度学习课程笔记——神奇宝贝分类 案列讲解入门

系列文章目录

本系列主要针对李宏毅老师2022年的《机器学习与深度学习》的课程做笔记，如果您上完对应章节的课，可以看看我的笔记以作回顾，由于水平有限，如有不对处，还望指教！
系列文章：
【笔记】李宏毅《机器学习基本概念简介(上)》笔记分享
【笔记】李宏毅《机器学习基本概念简介（下）》笔记分享
【笔记】李宏毅《反向传播（选修）》笔记分享
【笔记】李宏毅《预测神奇宝贝CP》笔记分享

---

前言

上一节课讲的是预测，这节课讲的是分类。主要是拿神奇宝贝的分类举例子，通过这节课，了解了高斯分布在机器学习中的应用、了解了升维的操作以及减少参数以减少误差的trick。

---

分类情境

抛出问题：

问你这只乌龟属于水系还是普通系（一个分类问题）

问题解决

1.特征向量

我们把每只宝可梦用一个向量表示----这个向量我们称之为feature

然后我们把水系的宝可梦他们的防御力和特殊防御力（可以理解为先用这两个属性去建模）画出来（共79个点）：


那能说这个乌龟在水系的概率为0吗（因为它不在这79个点里面）----当然不是

这时我们就要假设这些点是从Gaussian distribution（高斯分布）里面采样的

2.高斯分布

什么是高斯分布呢？—就是正态分布。正态分布的公式还记得伐？如下：

问题就转换为了：
找一个正态分布 使得那79个点分布在这个高斯分布的概率最大（在本场景中，分别是找到水系和普通系的最符合的高斯分布，然后把你要分类的乌龟套到这两个高斯分布里面去）
计算公式如下（这个是高中正态分布的知识）：

然后我们算，如下分别是水系的正态分布与普通系的正态分布：（其实我这没太看懂和后面的二维高斯分布有什么区别，有大佬可以指教一下吗？）

有了这些之后，就可以进行分类了，用下面的公式计算 判定结果是否大于0.5，因此这只乌龟属于水系：

3.升维

如果用二维特征进行高斯分布，结果如下图：

可以看到 用防御和特殊防御作为特征 构造二维高斯分布来进行分类 准确率并不高 只有百分之47

但是这个宝可梦有七个属性，机器学习厉害的地方就是能够升维，我们升维，把七个属性全考虑进去：

但是最后结果是——百分之54的准确率，还是好低，so sad（不过比之前要好了）

4.优化

怎么优化？
其实上面的那种高斯分布实际应用是比较少见的，比较常见的做法是：我们会让这两个类有相同的∑，因为：参数越多，误差越大！

而μ^1 和μ^2则与上面提到的算法一致（各个种族所有样本的平均值）

通过让两个种类共用一个参数的方式，使得分类准确率得到了极大的提高：

为什么会这样呢？

我们只能感性认知：参数变少了 因此误差减少了 准确率提高了
但是无法推理出准确结论 因为这是七维的

这也是机器学习的魅力所在

5.三步走

总结来说，分类的机器学习就是这三步：

问题：为什么要用高斯分布 不用别的呢？
答：还有什么感知机 SVM，其实有很多distribution !You can always use the distributions you like 我们也不知道为什么用高斯 这就是机器学习魅力所在

比如 如果今天是区分二进制标签 也许他们就是伯努利分布
如果他们是独立标签 那可能选择用简单贝叶斯分类器

存在一些规律 但是很多人类也难解释