模式识别与机器学习
phoenix@Capricornus
六边形美少女战士
展开
-
核密度估计kde的本质
核密度估计的本质就是插值,不是拟合,只是不要求必须过已知点。原创 2024-06-26 10:32:59 · 338 阅读 · 0 评论 -
均分分布的极大似然估计MLE
Parameter EstimationThe maximum likelihood estimates (MLEs) are the parameter estimates that maximize the likelihood function. The maximum likelihood estimators of a and b for the uniform distribution are the sample minimum and maximum, respectively.To f原创 2024-06-22 23:50:53 · 202 阅读 · 0 评论 -
支持向量机(SVM)中核函数的本质意义
内积是距离度量,核函数相当于将低维空间的距离映射到高维空间的距离,并非对特征直接映射。核函数对应某一特征空间的内积,要求①核函数对称;②Gram矩阵半正定。原创 2024-06-15 21:37:35 · 601 阅读 · 0 评论 -
距离度量家族
1-相似系数=距离。原创 2024-06-14 21:08:51 · 352 阅读 · 0 评论 -
PCA与LDA
降维方法:数学原理:高斯分布假设:监督与非监督:降维的目标:降维的维度限制:原创 2024-06-12 08:07:50 · 348 阅读 · 0 评论 -
点估计参数估计
点估计(Point Estimation)是一种统计推断的方法,用于通过样本统计量来估计总体参数。在概率论和数理统计中,点估计是将总体的未知参数估计为某个确定的值或在某个确定的点上,因此也被称为定值估计。原创 2024-06-10 07:53:12 · 229 阅读 · 0 评论 -
What Is t-SNE?
t-SNE (tsne) is an algorithm for dimensionality reduction that is well-suited to visualizing high-dimensional data. The name stands for t-distributed Stochastic Neighbor Embedding. The idea is to embed high-dimensional points in low dimensions in a way tha原创 2024-06-08 10:46:21 · 228 阅读 · 0 评论 -
最大似然估计、贝叶斯估计、最小二乘估计与贝叶斯学习的本质区别
概率密度估计中的贝叶斯学习,其目的是从有限样本估计总体分布。然后以后验概率密度作为概率密度,计算未知参数的概率密度函数的数学期望,作为总体估计。最大似然参数估计和贝叶斯参数估计的区别在于最大似然估计认为参数是确定性的量,而贝叶斯估计认为参数是随机变量。统计学中的贝叶斯参数估计是,计算估计值和真实值偏差的数学期望。最小均方估计实际上实际计算以后验概率为概率的参数的均值,而最大后验概率是后验概率的峰值对应的参数。线性最小均方估计和最小二乘估计的区别本质在于前者是期望风险最小化,后者是经验风险最小化。原创 2024-06-05 07:58:12 · 225 阅读 · 0 评论 -
贝叶斯参数估计vs贝叶斯学习
定义:贝叶斯参数估计是一种参数估计方法,它利用贝叶斯定理结合新的证据(观测数据)及以前的先验概率(对参数的初步信念),来得到参数的后验概率(在给定证据下参数的更新信念)。定义:贝叶斯学习是利用参数的先验分布,由样本信息求来的后验分布,直接求出总体分布的过程。贝叶斯参数估计和贝叶斯学习都依赖于贝叶斯定理,都强调先验概率在推断过程中的重要性,并都使用后验概率进行参数估计或总体分布的推断。本质:贝叶斯参数估计的本质是通过贝叶斯决策得到参数的最优估计,使总期望风险最小。根据经验给出待估参数的先验分布(主观分布)。原创 2024-06-03 08:24:47 · 326 阅读 · 0 评论 -
k均值过程图解
k均值聚类实际上是数据空间质心的Voronoi 划分问题。原创 2024-06-02 07:34:16 · 201 阅读 · 0 评论 -
k近邻与k均值之争夺k
有的书为了前后统一变量,改称为c均值。改了名字又有人不认识,不改又拧巴,这该如何是好?是类别数,那么多的变量可以用,偏偏争夺。是样本数,k均值中的。原创 2024-04-16 22:30:14 · 223 阅读 · 0 评论 -
在模式识别领域谈随机变量的本质
随机变量结合了变量的不确定性属性与函数的映射特性,它通过函数的方式将随机事件的结果量化,并通过概率论的语言来描述这些结果出现的可能性分布。随机变量是鸢尾花的花瓣长度(petal length)和花瓣宽度(petal width),取值是某个区间的实数,单位是cm。从变量的角度来看,随机变量是指在随机试验或者随机过程中可能取不同数值的一种变量,它的数值受随机因素影响,无法事先确切预知。随机变量的取值空间,也称为随机变量的定义域或者值域,是随机变量所有可能取值的集合。随机变量是样本空间到取值空间的映射。原创 2024-04-15 00:39:36 · 157 阅读 · 0 评论 -
贝叶斯公式的多角度解释
萨维奇是将贝叶斯决策用于模式分类的重要人物。通过将概率论与决策理论相结合,为模式分类提供了有效的工具和方法。贝叶斯提出的这个方法原初是为了解决“逆概”问题。原创 2024-04-15 00:05:29 · 259 阅读 · 0 评论 -
Mahalanobis距离(马氏距离)的本质
马氏距离是一种基于样本分布的距离,加权矩阵是样本或总体协方差矩阵的逆,其本质为去相关+数据标准化,通过数据变换,消除样本中不同特征维度间的相关性和量纲差异。原创 2024-04-06 10:13:08 · 269 阅读 · 0 评论 -
翻译请尊重学科
还有把ablation翻译成消融的那些人,消融是一种非手术治疗方法,它是利用某种形式的能量除去功能上异常或增生的组织。分布列(probability mass function)原来就是外文书的翻译刊物中的概率质量函数,恍然大悟的感觉。一直匪夷所思概率质量函数是什么,为什么概率论与数理统计中完全没有学过,我还以为我学了一个假的概率统计。对于离散型随机变量X,其分布列可以表示为P(X=x),其中x表示X的一个可能取值。分布列的性质是非负性(概率不为负)和归一性(所有可能取值的概率之和为1)。原创 2024-03-23 16:19:21 · 250 阅读 · 0 评论 -
Revisiting数学期望
这类问题涉及到了如何根据各种可能的结果及其发生的概率来计算一个“期望”的赢得金额。惠更斯在1657年发表的著作《论赌博中的计算》中,明确提出了数学期望的初始形式。他通过计算每种可能结果与其对应概率的乘积之和,得到了一个表示平均预期收入的数值,即数学期望。在模式识别中,由于联合分布通常是得不到的,所以期望风险总是遥不可及。数学期望,又称期望或均值,是随机变量按概率的加权平均,表征其概率分布的中心位置。Bayes决策是期望风险最小化,SVM是有理论保证的结构风险最小化,神经网络再怎么闹腾都是经验风险最小化。原创 2024-03-23 15:39:31 · 207 阅读 · 0 评论 -
Fisher分类器
判别分析分类是正态分布下的贝叶斯决策,Fisher是线性判别分析的特例。判别分析分类等价于最小距离分类器。原创 2024-03-22 21:31:26 · 88 阅读 · 0 评论