专栏介绍:本栏目为 “2021秋季中国科学院大学周晓飞老师的机器学习” 课程记录,不仅仅是课程笔记噢~ 如果感兴趣的话,就和我一起入门Machine Learning吧🥰
要讲清楚fisher鉴别,必须从内积的几何意义开始说起
线性鉴别的思想
- 当空间中分布了很多个样本点时,我们将所有的样本都往一个方向上投影,期望投影的结果能将这些样本很好的分类开。
- 假设空间中有两类样本,如果往w1方向投影,在投影结果中,两类样本有交叉的部分;往w2方向投影时,两类样本被明显地分开了,显然w2方向是更佳的投影方向。
- 线性鉴别的目标,就是找到这个最佳的投影方向,求出向量w是什么。
目标函数
上文说的最佳投影结果,实际上是期望 类内平均距离尽可能小,类间距离尽可能大用数学符号描述也就是:
目标是使得J最大。
类别间距离
求类间距离分为两步:
- 首先求出每一类样本的均值点
- 再将这个均值点向w上投影,得到投影后的均值
- 用两者差的平方来描述类别之间的距离。
类别内距离
求类间距离分为一下几步:
- 先求样本均值点μ
- 将均值点以及所有样本点向w方向上投影
- 用投影的均方差描述类别内距离
- 求出所有类别的投影均方差并把他们求和即可。
求解最佳投影方向
以二分类为例,我们已经知道求解的目标是找到一个使得J最大的w即可。经过一些优美的数学运算就可以把最佳的W求出来(这个后面补起来😭下次一定)。
实际上对于二分类只需要计算出两个类样本的均值点,以及两个样本的类内散度矩阵即可。
现在来看一道练习题:【一起入门MachineLearning】中科院机器学习-期末题库-【计算题7】