机器学习数学基础
文章平均质量分 53
机器学习数学基础
丰。。
某top数据科学专业博士研究生,发表多篇论文,CCFA类2篇,sci2区一篇,目前担任sci2区文章审稿人,均为深度学习领域,第一作者,五次国际级获奖经历,国家级大创四项,多次省级校级获奖经历,负责多项科研项目。希望大佬们多多提携,小弟定投桃报李。
展开
-
人工智能多模态方向学习笔记-Deep Visual-Semanti算法
Deep Visual-Semantic (DeViSE)是一种用于图像分类的算法,它使用了深度学习中的卷积神经网络 (CNN) 和词向量模型。它的主要目的是将图像和单词表示为相同的特征空间,以便可以将它们放在一起进行训练和分类。DeViSE算法的基本思想是将每个图像映射到一个固定长度的向量,这个向量被称为“视觉嵌入”(visual embedding)。同时,每个单词也被映射到一个固定长度的向量,这个向量被称为“语义嵌入”(semantic embedding)。原创 2023-03-20 18:15:05 · 483 阅读 · 0 评论 -
中值绝对误差
中值绝对误差的取值范围为[0,∞),通常用于比较不同模型的表现。在实际应用中,MedAE通常用于对异常值敏感的场景,例如在离群点检测和异常值识别等问题中,MedAE是一种常用的性能指标。中值绝对误差(Median Absolute Error,MedAE)是一种用于评估预测模型准确度的指标,它是预测值和真实值之间差的绝对值的中位数。我们希望得到所有样本误差绝对值的中位数,即中值绝对误差。假设有n个样本,真实值分别为y₁, y₂, ……, yₙ,预测值分别为ŷ₁, ŷ₂, ……原创 2023-03-22 00:30:00 · 1406 阅读 · 0 评论 -
平均绝对值误差
和均方误差不同,平均绝对值误差更加关注预测误差的实际大小,而不是误差平方的大小。在某些应用场景中,例如异常检测等,平均绝对值误差可能比均方误差更加合适。平均绝对值误差(Mean Absolute Error,MAE)是用来评估预测模型准确度的一个指标,它是预测值和真实值之间差的绝对值的平均数。我们希望得到所有样本误差绝对值的平均数,即平均绝对值误差。由于绝对值函数的导数不连续,无法直接使用求导等方法求得最小化MAE的预测值,因此,通常采用梯度下降等优化算法来求解。, yₙ,预测值分别为ŷ₁, ŷ₂, ……原创 2023-03-20 14:11:25 · 3161 阅读 · 0 评论 -
评价公式-均方误差
我们希望得到所有样本误差平方的平均数,即均方误差。假设有n个样本,真实值分别为y₁, y₂, ……, yₙ,预测值分别为ŷ₁, ŷ₂, ……因此,均方误差可以用样本真实值的平方和、样本真实值与预测值的乘积之和、样本预测值的平方和来计算。原创 2023-03-22 00:15:00 · 841 阅读 · 0 评论 -
支持向量机回归
不同的核函数对应不同的映射方式,适用于不同的问题。在SVR中,假设输入数据集为{(xi, yi)|xi∈R^n, yi∈R},其中xi是n维的特征向量,yi是对应的标签。与SVMC不同,SVMR的目标是最小化模型预测值与真实值之间的差异,即最小化预测值与真实值之间的误差平方和(Sum of Squared Errors, SSE),同时还要最大化间隔,以确保模型的泛化能力。其中,w是权重向量,b是偏置项,C是正则化参数,||w||^2是权重向量的L2范数,f(xi) = w^Txi + b是模型预测值。原创 2023-03-14 00:45:00 · 6606 阅读 · 1 评论 -
线性判别分析
(xn, yn)},其中xi∈R^d为第i个样本的特征向量,yi∈{0, 1}为第i个样本的类别标签,0表示负样本,1表示正样本。LDA算法的基本思想是将多维数据投影到一个低维空间,使得不同类别之间的距离尽可能大,同一类别内部的距离尽可能小。解出特征向量后,将其按照特征值大小从大到小排序,选择前k个特征向量作为投影方向,将原始数据投影到这些方向上,得到新的低维特征表示。将特征向量按照对应的特征值大小从大到小排序,选择前k个特征向量作为投影方向,将原始数据投影到这些方向上,得到新的低维特征表示。原创 2023-03-13 00:45:00 · 372 阅读 · 0 评论 -
随机数森林
随机森林算法是一种基于集成学习的机器学习算法,它能够有效地处理高维、复杂的数据集,并且具有很好的泛化能力。随机森林算法通过使用多个决策树来减少过拟合的风险,而每个决策树的构建都是独立的。在构建决策树时,随机森林算法使用一组随机选择的特征来进行划分,从而避免了过拟合的问题。在预测时,随机森林算法使用集成策略来预测新的样本的类别或值。随机森林算法的超参数需要仔细选择,通常需要使用交叉验证技术来进行。原创 2023-03-08 13:58:00 · 1795 阅读 · 0 评论 -
决策树算法
在对新样本进行分类或回归时,将样本特征从根节点开始依次判断,沿着树的分支向下走,直到到达叶子节点,然后将叶子节点的分类结果或回归值作为预测结果。在进行决策树的分类时,我们从根节点开始,按照划分准则递归地将样本划分到子节点中,直到达到叶子节点,将叶子节点所属的类别作为预测结果。例如,如果使用信息增益作为特征选择的标准,会倾向于选择具有较多取值的特征,因为这些特征的信息增益通常较高。这些算法在具体的实现上可能有所不同,但是它们的基本思想都是类似的,即通过特征的分裂来建立决策树模型,实现对样本的分类和预测。原创 2023-03-10 00:45:00 · 398 阅读 · 0 评论 -
感知器算法
在每次迭代中,我们可以随机选取一个错误分类的样本点来更新权重和偏置,或者按照顺序遍历所有的样本点来更新权重和偏置。可以证明,如果数据集是线性可分的,那么感知器算法一定会收敛,得到一个能够将数据集分为两类的超平面。此外,感知器还存在多个权重向量和偏置项的解,因此不同的初始权重和偏置可能会导致不同的结果。此外,感知器还存在多个权重向量和偏置项的解,因此不同的初始权重和偏置可能会导致不同的结果。被错误分类,那么我们就沿着它的负梯度方向更新权重和偏置,使得这个样本点离超平面更近,从而使得它被正确分类。原创 2023-03-08 13:24:44 · 1031 阅读 · 0 评论 -
多元线性回归
最后,需要注意的是,在实际应用中,多元线性回归模型可能存在欠拟合或过拟合的问题。针对这些问题,我们可以采取一系列方法,如添加正则化项、调整模型超参数等来提高模型的泛化能力。在多元线性回归中,我们假设自变量和因变量之间存在线性关系,并且通过最小化残差平方和来求解最优的模型参数。以上就是多元线性回归的原理说明,通过求解最小化残差平方和的模型参数,我们可以建立自变量和因变量之间的线性关系模型,从而对因变量进行预测。通过最小化残差平方和,我们可以求解出模型的最优参数,通常使用最小二乘法来求解,即将。原创 2023-03-09 00:45:00 · 929 阅读 · 0 评论 -
SVM算法
需要注意的是,在实际应用中,我们可能会遇到非线性可分的情况,此时可以通过核函数将数据映射到高维空间,使得数据在该空间中线性可分。它的核心思想是最大化分类边界的间隔,并利用支持向量来确定最优的超平面,从而实现高效的分类。以上就是SVM算法的公式推导过程,通过最大化支持向量到分类超平面的距离,SVM算法可以在高维空间中寻找最优的分类超平面,从而实现对数据的分类。寻找最优的超平面:在给定的训练数据中,SVM算法会寻找一个最优的超平面,使得将数据分为两个类别的间隔最大化。通过求解上述对偶问题,我们可以得到最优的。原创 2023-03-09 00:30:00 · 2467 阅读 · 0 评论 -
LVQ算法
LVQ算法主要是通过对数据进行聚类来实现分类,其核心思想是通过逐步调整聚类中心,使得不同类别之间的距离变大,同一类别之间的距离变小。LVQ算法的核心思想是通过逐步调整聚类中心,使得不同类别之间的距离变大,同一类别之间的距离变小,从而实现分类任务。LVQ(Learning Vector Quantization)算法的核心是通过逐步调整聚类中心,来使不同类别之间的距离变大,同一类别之间的距离变小。这样,经过多次迭代后,不同类别之间的距离将逐步变大,同一类别之间的距离将逐步变小,从而实现分类任务。原创 2023-03-07 20:00:33 · 934 阅读 · 0 评论 -
KNN算法
其原理是在给定的数据集中,根据某个距离度量方法,将测试数据与已知数据集中的所有数据进行距离计算,然后选取K个距离最近的数据作为测试数据的邻居,根据邻居的类别进行投票,将测试数据分类到得票最多的类别中。总之,KNN算法是一种简单而有效的分类方法,它不需要对数据进行训练,可以适用于多种数据类型和应用场景,并且可以通过调整K值或距离阈值等参数来控制算法的复杂度和性能。,KNN算法需要找到K个距离测试样本最近的训练样本,计算它们的类别,并将测试样本归入到得票最多的类别中。则取值为1,否则为0,表示邻居中属于类别。原创 2023-03-07 19:53:43 · 840 阅读 · 0 评论 -
K-means聚类
具体而言,可以先随机分配数据点到簇中,然后依次更新每个簇的中心点,直到簇中心点不再发生变化或达到最大迭代次数。具体而言,可以先随机分配数据点到簇中。更新:在所有数据点都被分配到对应的聚类中之后,重新计算每个聚类中心点的位置,即将每个聚类中的所有数据点的坐标平均值作为新的聚类中心点位置。由于将xi分配到距离其最近的簇中时,ΔJ应当小于等于0,因此可以通过比较ΔJ的大小,将xi分配到距离其最近的簇中。分配:对于每个数据点,计算其到每个聚类中心点的距离,并将其分配到距离最近的聚类中心点所代表的聚类中。原创 2023-03-07 19:39:35 · 764 阅读 · 1 评论 -
强化学习学习笔记-动态规划
定义动态规划(Dynamic Programming,DP)是运筹学的一个分支,是求解决策过程最优化的过程。20世纪50年代初,美国数学家贝尔曼(R.Bellman)等人在研究多阶段决策过程的优化问题时,提出了著名的最优化原理,从而创立了动态规划。动态规划的应用极其广泛,包括工程技术、经济、工业生产、军事以及自动化控制等领域,并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果。适用范围1最优子结构满足最优性原理最优的解可以被分解成子问题原创 2022-04-13 11:47:23 · 382 阅读 · 0 评论 -
SVD奇异值分解通俗理解-机器学习学习笔记
概念引入矩阵A的大小为m*n如图以此类推图中的∑为S,S是对角阵(只有对角阵上是有元素的)以图上的矩阵A为例,我们可以将他分成三个矩阵相乘的形式先在X轴上做变换这是在X,Y轴上同时做了变换特征值越大,对变换的影响也就越大,比如上图中的蓝色箭头,是图中以几何形式影响最大的特征值不是所有的特征值都要处理,那样会使得情况无穷无尽(试想一下把矩阵A分成N种情况),我们挑选影响较大的就可以了,在上图中,就表现为把前r个特征值表现出来,经过这样的分解,我们成功把矩阵A分成了三块,它的几何形状由上原创 2022-01-20 18:32:56 · 3819 阅读 · 1 评论 -
海涅定理/归结原则
首先让我们看看什么是海涅定理原创 2021-07-16 22:33:13 · 4465 阅读 · 0 评论 -
洛必达法则的证明
洛必达法则适用于两种情况,一种是0比0型,一种是无穷比无穷型其实第二种只要分母趋于无穷都可以用原创 2021-07-16 21:51:45 · 7177 阅读 · 0 评论 -
广义积分中值定理的证明
原创 2021-06-27 09:27:47 · 3392 阅读 · 0 评论 -
微积分中,区间再现公式的证明
原创 2021-06-24 21:24:38 · 3727 阅读 · 1 评论 -
周期函数在一个周期上的积分值与起点无关
原创 2021-06-21 11:18:25 · 4800 阅读 · 0 评论 -
求导与原函数的奇偶性互换证明
原创 2021-06-21 10:12:05 · 2322 阅读 · 0 评论 -
高等数学学习笔记-函数有界性的证明
原创 2021-05-11 14:32:15 · 1453 阅读 · 0 评论