机器学习的数学基础（3）：正交性原理（orthogonality principle）

最新推荐文章于 2024-11-26 16:29:44 发布

面对疾风的小龙

最新推荐文章于 2024-11-26 16:29:44 发布

阅读量2k

点赞数

分类专栏：机器学习的数学基础文章标签：机器学习线性代数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_43014877/article/details/121840601

版权

机器学习的数学基础专栏收录该内容

7 篇文章

订阅专栏

本文讨论了在希尔伯特空间中如何找到一个点到给定子空间的最近距离。利用正交性定理，证明了解的存在性和唯一性。在证明过程中，分为两部分：首先证明满足正交条件的点是优化问题的解，然后给出解的具体表达式，通过线性代数的方法求解，并证明了解的唯一性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

思考这样一个问题，令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间

当我们给定了 $x\in S$ ，如何求最近 $\tau$ 上距离x最近的点。

则我们用数学语言表示该问题为一个优化问题：

$\min \left \| x-y \right \|\quad y\in \tau$

该问题的解可以直接通过一个定理给出，即正交性定理（orthogonality principle）

Orthogonality Principle

定理描述如下：

令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间，当我们给定任意的 $x\in S$ ，

1. 一定存在一个唯一的点 $\hat{x}\in \tau$ 遵循： $x-\hat{x}\perp \tau$

2. 满足1的这个点 $\hat{x}$ 是该优化问题的唯一解

接下来我们将分两部分证明上述定理，第一部分先证明满足1的解一定是问题的解，第二部分则会给出解的具体表达式以及唯一性的证明

Part I

由定理第一条我们有： $\left \langle x-\hat{x},y \right \rangle=0$ 对于任何 $\tau$ 中元素都成立

$\left \| x-y \right \|^{2}=\left \| (x-\hat{x}-(y-\hat{x})) \right \|^2=\left \| x-\hat{x} \right \|^2+\left \| y-\hat{x} \right \|^2$

（其中第二个等式是因为 $y-\hat{x}$ 也在空间 $\tau$ 中，所以内积为0

所以显然： $\left \| x-y \right \|^{2}\geq \left \| x-\hat{x} \right \|^2$ ，当 $y=\hat{x}$ 时等号成立，因此这也就证明了满足定理第一条的解一定时优化问题的解。

Part II

这一部分我们将给出解的计算方法，并通过解析表达式来去说明解是唯一的

现在假设 $\tau$ 的一组基底为 $v_1,v_2,...v_N$ ，那么解则可以表示为：

$\hat{x}=a_1v_1+a_2v_2+...+a_Nv_N$

则有：

$\left \langle x-\sum_{k=1}^{N}a_kv_k ,v_n\right \rangle=0\rightarrow \left \langle x,v_n \right \rangle=\sum_{k=1}^{N}a_k\left \langle v_k,v_n \right \rangle$

求解ak，我们则可以通过线性代数的知识进行直接求解，首先我们把上述等式表示为矩阵的形式：

左边的矩阵叫做基底vn的Gram矩阵，记作G，我们将右边的矩阵记为b

因为所有基底全部是线性无关的，所以G可逆，进而我们可以直接写出a的表达式：

$a=G^{-1}b$

并且由于G是可逆的，自然a只存在唯一解

以上

面对疾风的小龙

博客等级

码龄7年

10
原创

60
点赞

81
收藏

181
粉丝

关注

私信

热门文章

分类专栏

机器学习的数学基础 7篇

最新评论

openGauss中存储过程的使用详解
nauja: 对openGauss的存储过程很失望，完美继承了oracle的缺点，也许，在开发人员的眼里，样本就是oracle，根本没瞧上sqlserver的多功能存储过程有多方便，修改、返回、多个结果集、随便怎么写
openGauss中存储过程的使用详解
CSDN-Ada助手: 恭喜您写了第8篇博客！标题“openGauss中存储过程的使用详解”听起来非常有趣和实用。您对openGauss中存储过程的详细解释一定会帮助到很多读者，尤其是那些对此领域感兴趣的人。在下一步的创作中，我想建议您可以考虑探讨一些更深入的主题，或者分享一些您在使用openGauss存储过程时遇到的挑战和解决方案。这样可以帮助读者更好地理解和应用这些概念，并提供实际应用中的指导和建议。再次恭喜您，并期待您未来更多的博客文章！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply8 看奖励名单。

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。