机器学习的数学基础
文章平均质量分 72
面对疾风的小龙
这个作者很懒,什么都没留下…
展开
-
机器学习的数学基础(7):防止过拟合的两种方法,正则化与截断svd
本文将从数学的角度解释为何会出现过拟合,以及防止过拟合的两种方法:正则化与截断svd法这里我们将矩阵拆开,用奇异值对应项的和对该解进行表示,则有:其中矩阵的秩为R...原创 2021-12-23 23:37:39 · 801 阅读 · 0 评论 -
机器学习的数学基础(6):矩阵的SVD分解与最小二范数解
其实在上一篇文章中遗留了两个问题。在我们讨论最小二乘回归问题解的时候,当rank(A)<min(M,N)时,问题有二:1. 解的形式为其中为标准方程的解,在非满秩的情况下如何求得此时标准方程的一个解。2. 此时问题有无穷个解,我们应如何对这无穷个解进行选择。解决上述问题,我们需要用到一个重要的数学工具: SVD一. 奇异值分解(SVD):奇异值分解描述如下:一个任意的矩阵A(M,N),rank(A)=R,可以被分解为如下的形式:其中:1. U是一个M*R维度的矩阵,且满原创 2021-12-14 14:55:27 · 2055 阅读 · 0 评论 -
机器学习的数学基础(5):最小均方误差的回归问题
本文详细的介绍了如何利用线性代数的知识建模并解决一个以均方误差为损失函数的回归问题原创 2021-12-11 18:13:55 · 1489 阅读 · 0 评论 -
机器学习的数学基础(4):正交基与帕斯瓦尔定理
这节课的学习是非常令人振奋的,工程中的知识突然被数学更本质地解释是一件非常令人振奋的事情。以前在学习信号与系统时曾经学过帕斯瓦尔定理,在当时的表述是一个信号频域与时域的能量被证明是相同的。而如今在这门偏数学的课程中,终于接触到了其真正的数学本质。正交基定义:满足如下条件的基底,我们称之为S的正交基:1.2. 基底中所有向量两两互相正交,即对于任意的j和k且两者不相等,此外如果再多一个条件:我们则称其为标准正交基接着上文的问题:令S为一个希尔伯特空间,而空间S的一个子空.原创 2021-12-10 12:51:59 · 1163 阅读 · 0 评论 -
机器学习的数学基础(3):正交性原理(orthogonality principle)
思考这样一个问题,令S为一个希尔伯特空间,而空间S的一个子空间当我们给定了,如何求最近上距离x最近的点。本文给出了答案原创 2021-12-09 19:44:25 · 1609 阅读 · 0 评论 -
机器学习的数学基础(2):赋范空间、内积空间、完备空间与希尔伯特空间
本文介绍了赋范空间、内积空间、完备空间与希尔伯特空间的相关定义以及几者之间的关系原创 2021-12-09 16:13:42 · 3218 阅读 · 0 评论 -
机器学习的数学基础(1):线性空间的相关概念与性质
线性空间的相关知识作为学习希尔伯特空间的先决条件是相当基础且重要的,后者则为机器学习中非常重要的数学知识,本文将主要讲述线性空间的相关概念,包括线性空间、线性子空间、张成空间、基底线性无关等原创 2021-12-09 11:42:17 · 1285 阅读 · 0 评论