线性判别分析_线性判别分析和kernel Fisher判别分析

关于LDA可以移步

Frank Tian：用线性回归的方式打开LDA​zhuanlan.zhihu.com

---

那么让我们补充学习一下kernel Fisher判别分析是什么。

这个Fisher，是个人:

Sir Ronald Aylmer Fisher FRS (17 February 1890 – 29 July 1962) was a British statistician and geneticist. For his work in statistics, he has been described as "a genius who almost single-handedly created the foundations for modern statistical science" and "the single most important figure in 20th century statistics". In genetics, his work used mathematics to combine Mendelian genetics and natural selection; this contributed to the revival of Darwinism in the early 20th-century revision of the theory of evolution known as the modern synthesis. For his contributions to biology, Fisher has been called "the greatest of Darwin’s successors".

名字怪怪的。

不过看这个介绍，这个Fisher还是蛮强的。

然后kernel Fisher判别分析Kernel Fisher discriminant analysis自然是这个叫做Fisher提出来的判别分析方法，然后又用了核技巧，于是就叫kernel Fisher判别分析了。

我在这里简单的介绍一下所谓的“核方法”和“核技巧”，但是具体推导和常见的“核”都不展开讲。

---

首先，什么是“核”呢？

我们先不看它的定义，单纯的思考一个问题：我们怎么将线性不可分的数据分开？

我想只要是学习过机器学习的人都曾经思考过这个问题，毕竟线性模型作用有限，我们有理由相信大多数 分布都不是线性可分的。

我们有两种基本思路：

1. 改变模型，构造出一个非线性的模型，让模型有足够的复杂度将数据分开。
2. 改变数据，将数据从线性不可分的形式转换为线性可分的形式。

当年，马文明斯基一本《感知机》差点把联结主义写死了，就是因为线性不可分的问题。而前人们也想到了这两种解决方法。

我们的