#4机器学习（西瓜书）自学记录

目录

3.4线性判别分析

1.算法原理

2.损失函数的推导

3.拉格朗日乘子法

4.求解W

5.广义特征值和广义瑞利值

---

3.4线性判别分析

1.算法原理

从几何的角度，让全体训练样本经过投影后：

• 异类样本的中心尽可能远

• 同类样本的方差尽可能小

2.损失函数的推导

3.拉格朗日乘子法

拉格朗日乘子法是一种用于求解带有约束条件的优化问题的数学方法。它是以18世纪法国数学家约瑟夫·拉格朗日的名字命名的。

在许多优化问题中，我们希望在满足一些限制条件的情况下最大化或最小化某个函数。这些限制条件可以是等式或不等式。拉格朗日乘子法的基本思想是将这些约束条件与目标函数融合在一起，构建一个新的函数，称为拉格朗日函数或拉格朗日量。通过对拉格朗日函数求偏导数，并将约束条件纳入考虑，我们可以得到一组方程，称为拉格朗日方程。

解这组方程可以找到可能的极值点，这些极值点也是原始优化问题的解。拉格朗日乘子法的关键在于引入拉格朗日乘子，它们是用来对约束条件进行加权的系数，以确保在考虑约束条件的同时，最大化或最小化目标函数。

虽然拉格朗日乘子法最初是为了解决等式约束的问题而开发的，但后来被拓展到可以处理不等式约束以及更复杂的情况。这种方法在经济学、物理学、工程学和许多其他领域都有广泛的应用。

4.求解W

5.广义特征值和广义瑞利值

广义特征值和广义瑞利值是线性代数中的重要概念，它们是对称矩阵的特征值和瑞利商的推广。

1. 广义特征值（Generalized Eigenvalues）：对于两个矩阵 ( A ) 和 ( B )，它们的广义特征值满足如下的广义特征值问题：

其中，是广义特征值，而是对应的广义特征向量。广义特征值问题通常在矩阵不可逆或奇异的情况下出现。

1. 广义瑞利值（Generalized Rayleigh Quotient）：给定两个矩阵 ( A ) 和 ( B )，并且 ( B ) 是非奇异的，广义瑞利商定义为：

   其中是非零向量。如果我们选择，那么广义瑞利商就变成了标准的瑞利商，它是一个关于向量的函数，用来描述对称矩阵的特征值。

   此内容是本人第一次通过看书和相关视频学习周志华《机器学习》，在此发表的一些个人的看法与见解，如有错误在里面必然是本人见识低陋，望读者朋友务必指出，我好加紧改正。本内容仅仅是本人学习的记录。想要深入了解《机器学习》的朋友务必下去看看书。谢谢。

   参考说明：

   相关截图：来自b站 周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》BV1gG411f7zX

   【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集 BV1Mh411e7VU