![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础知识
文章平均质量分 92
猛男技术控
苦心钻研!
勇于实践!
不负韶华!
展开
-
直观理解--马氏距离
1. 数据指标的单位对距离度量的影响在很多机器学习问题中,样本间的特征都可以用距离去描述,比如说最常见的欧氏距离。对于欧氏距离而言,空间中任意两点Px1x2xpPx1x2xp与Qy1y2ypQy1y2ypdPQx1−y12x2−y22⋯xp−yp2dPQx1−y12x2−y22⋯xp−yp2显然,当固定点QQQ。原创 2023-01-10 09:15:00 · 2079 阅读 · 0 评论 -
PCA 主成分分析-清晰详细又易懂
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA 通过将原始数据变换为一组的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于 PCA 的文章有很多,但是大多数只描述了 PCA 的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍 PCA 的基本数学原理,帮助读者了解 PCA 的工作机制是什么。当然我并不打算把文章写成纯数学文章,而是希望用直观和易懂的方式叙述 PCA 的数学原理,所以整个文章不会引入严格的数学推导。原创 2023-01-09 15:59:53 · 2626 阅读 · 0 评论 -
两个例题带你搞懂极大似然估计-猛男技术控
比如箱子里有100个球共两种颜色,其中一种颜色有95个,现在摸出一个球是黑色,那么是黑球95个还是白球95个呢?具体哪个多当然是不能肯定的,但我们可以知道,大概率是黑球多。极大似然说人话就是最大概率看起来是这个样子。极大似然估计的目的是利用已知样本,反推最有可能导致出现这样结果的参数值是多少。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。数学解释:设总体的概率密度函数原创 2022-10-29 15:39:53 · 2084 阅读 · 0 评论 -
梯度下降法公式推导+实战--以一元、多元线性回归为例-猛男技术控
设函数z=f(x,y)在平面区域D内具有一阶连续偏导数,则对于每一点p(x,y)ϵD,都可定出一个向量∂x∂fi+∂y∂fj,这个向量称为函数z=f(x,y)在点p(x,y)的梯度,记作gradf(x,y),即gradf(x,y)=∂x∂fi+∂y∂fj设el=cosφi+sinφj为l。原创 2022-10-28 00:15:00 · 593 阅读 · 0 评论 -
最小二乘法公式推导+实战--以一元、多元线性回归为例-猛男技术控
最小二乘法公式推导+实战--以一元、多元线性回归为例-猛男技术控原创 2022-10-27 14:46:37 · 2565 阅读 · 0 评论 -
偏差与方差、过拟合与欠拟合-猛男技术控
如果你的算法含有一个精心设计的正则化方法,通常可以安全地加大模型的规模,而不用担心增加过拟合风险。例如,一般情况下,你可以通过增加神经网络的规模大小,并调整正则化方法去减少偏差,而不会明显的增加方差。目前,在大部分针对学习算法的改进中,有一些能够减少偏差,但代价是增大方差,反之亦然。它在训练集上表现得很差,因此有较高的偏差,而它在开发集上表现更差,因此方差同样较高。但如果最优错误率是 14%,那么 15% 的训练错误率表现告诉我们,在分类器的偏差方面几乎没有改进的余地。则偏差为 15%,方差为 15%。原创 2022-10-25 16:09:27 · 1019 阅读 · 0 评论 -
机器学习基础:拉格朗日乘子法
在凸优化问题中,拉格朗日乘子法是最常用的方法之一。原创 2022-10-07 15:59:54 · 1198 阅读 · 0 评论 -
机器学习基础:统计量与抽样分布
机器学习必备基础知识,力求以最简洁的语言,描述最完整的内容。很多知识没有深入剖析,也没必要深入剖析。大致了解知识框架之后,即可开始学习机器学习,有不懂的再回过头仔细研究,驱动式学习才是最高效的学习。原创 2022-09-29 18:02:45 · 426 阅读 · 0 评论 -
机器学习基础:参数估计与假设检验
机器学习必备基础知识,力求以最简洁的语言,描述最完整的内容。很多知识没有深入剖析,也没必要深入剖析。大致了解知识框架之后,即可开始学习机器学习,有不懂的再回过头仔细研究,驱动式学习才是最高效的学习。原创 2022-09-29 18:02:17 · 558 阅读 · 0 评论 -
机器学习基础:大数定律与中心极限定理
机器学习必备基础知识,力求以最简洁的语言,描述最完整的内容。很多知识没有深入剖析,也没必要深入剖析。大致了解知识框架之后,即可开始学习机器学习,有不懂的再回过头再仔细研究,驱动式学习才是最高效的学习。原创 2022-09-28 15:20:53 · 507 阅读 · 0 评论 -
机器学习基础:随机变量及其概率分布
机器学习必备基础知识,力求以最简洁的语言,描述最完整的内容。很多知识没有深入剖析,也没必要深入剖析。大致了解知识框架之后,即可开始学习机器学习,有不懂的再回过头再仔细研究,驱动式学习才是最高效的学习。原创 2022-09-28 15:02:51 · 538 阅读 · 0 评论 -
机器学习基础:概率论基础
机器学习必备基础知识,力求以最简洁的语言,描述最完整的内容。很多知识没有深入剖析,也没必要深入剖析。大致了解知识框架之后,即可开始学习机器学习,有不懂的再回过头再仔细研究,驱动式学习才是最高效的学习。原创 2022-09-28 14:50:20 · 610 阅读 · 1 评论 -
机器学习基础:信息论
香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。原创 2022-09-21 20:49:50 · 496 阅读 · 0 评论 -
机器学习基础:梯度下降原理及代码实现
一般来说其步长的选择比梯度下降法的步长要小一点,因为梯度下降法使用的 是准确梯度,所以它可以朝着全局最优解(当问题为凸问题时)较大幅度的迭代下去,但是随机梯度法不行,因为它使用的是 近似梯度,或者对于全局来说有时候它走的也许根本不是梯度下降的方向,故而它走的比较缓,同样这样带来的好处就是相比于梯度下降法,它不是那么容易陷入到局部最优解中去。凸函数的局部极小值就是全局最小值,而非凸函数没有很好的解决最小值的方法,所以我们定义损失函数时尽量将其定义为凸优化问题或转换为等价凸优化问题,从而有助于求解。原创 2022-09-21 20:26:02 · 892 阅读 · 0 评论