- 博客(39)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习概率论与统计学--(13)线性回归
本文系统介绍了线性回归的核心内容，包括模型假设（线性性、零均值、同方差等）、参数估计方法（最小二乘法与最大似然估计的等价性）、显著性检验（t检验与F检验）。通过矩阵形式推导了OLS估计量，并阐述了在正态假设下与MLE的关系。文中结合实例演示了回归系数计算过程，并详细说明了模型诊断的关键指标（残差分析、拟合优度R²）和多重共线性的识别方法，为统计分析提供了完整的理论框架和实施指南。
2026-04-07 13:53:26
549
原创 机器学习概率论与统计学--(12)假设检验
假设检验是统计推断的核心方法，用于判断样本数据是否支持某个总体假设。其基本框架包括：设定原假设H0和备择假设H1；选择检验统计量；确定显著性水平α；计算p值并决策。检验过程中需注意两类错误：第一类错误（拒真）和第二类错误（纳伪）。常见参数检验方法包括t检验（单样本、独立样本、配对样本）和方差分析，用于均值比较；非参数检验如卡方检验适用于分类数据。p值虽常用但存在局限，如不能反映效应大小、易受样本量影响等。实际应用中应结合效应量和置信区间进行综合判断，避免过度依赖单一p值。
2026-04-07 13:47:24
534
原创 机器学习概率论与统计学--(11)概率论极限定理
概率论中的极限定理揭示了随机现象的规律性。大数定律表明，随着样本量增加，样本均值会趋近于总体均值，这为概率的频率解释提供了理论支持。中心极限定理则进一步指出，无论原始分布如何，大量独立随机变量之和的分布都近似于正态分布，解释了正态分布在自然界中的普遍性。切比雪夫不等式是证明大数定律的关键工具，给出了随机变量偏离均值的概率上界。这两个定理共同构成了统计推断的基础：大数定律保证估计的稳定性，中心极限定理则用于构造置信区间和假设检验。这些理论在蒙特卡洛方法、参数估计等应用中发挥着核心作用。
2026-04-03 13:09:57
273
原创 机器学习概率论与统计学--(10)统计学：参数估计②
本文介绍了参数估计的评价准则与区间估计方法。首先讨论估计量的三个评价标准：无偏性（估计量期望等于真值）、有效性（方差越小越优）和一致性（大样本下收敛于真值）。然后重点讲解区间估计，通过构造置信区间来评估估计精度。针对正态总体均值，分别给出方差已知（基于正态分布）和未知（基于t分布）的置信区间计算公式，并通过实例演示应用过程。文章强调区间估计的频率学派解释，即重复抽样下置信区间覆盖真值的概率，而非单次区间包含真值的概率。
2026-04-01 11:15:23
417
原创 机器学习概率论与统计学--(9)统计学：参数估计
参数估计是统计推断的核心内容，主要包括矩估计和最大似然估计两种方法。矩估计通过样本矩与总体矩相等建立方程求解参数，适用于正态分布、泊松分布等常见分布。最大似然估计则通过最大化似然函数寻找最可能产生观测样本的参数值，在伯努利分布、正态分布等场景中表现优异。两种方法各有特点：矩估计计算简单但可能效率不高，最大似然估计理论性质优良但计算可能更复杂。实际应用中需根据具体问题选择合适的估计方法，并注意验证估计量的无偏性、一致性等重要性质。
2026-03-30 14:33:00
459
原创 机器学习概率论与统计学--(8)概率论：数字特征
本文系统介绍了随机变量的数字特征，包括期望、方差、协方差、相关系数和高阶矩。首先详细讲解了期望的定义、线性性质以及条件期望的计算方法，通过骰子和均匀分布等实例说明其应用。其次阐述了方差的定义和重要性质，包括平移不变性和尺度变换特性。然后深入解析了协方差的定义、符号含义及其与相关性的关系，并介绍了相关系数的标准化公式。最后讨论了高阶矩的概念，包括原点矩和中心矩的定义及其统计意义。这些概念构成了概率论与统计学的核心基础，也是机器学习模型评估的重要工具。
2026-03-28 13:15:30
451
原创 机器学习概率论与统计学--(7)概率论：多维随机变量
摘要 本文系统介绍了多维随机变量的核心概念与应用。主要内容包括： 联合分布、边缘分布与条件分布：详细阐述了离散与连续情形下的联合概率质量/密度函数、边缘分布及条件分布的数学定义与计算方法，并通过掷骰子、抽牌等实例说明其应用。 协方差与相关系数：探讨了协方差的定义、性质及推导过程，重点分析了相关系数在衡量线性相关性方面的作用和局限性，指出其无法捕捉非线性关系的特点。 协方差矩阵：简要介绍了高维随机向量的协方差矩阵结构，说明其作为刻画变量间线性关系的矩阵工具。 通过具体案例（如二元正态分布、线性变换等）展示了这
2026-03-26 15:04:08
503
原创 机器学习概率论与统计学--(6)概率论：连续分布
本文系统介绍了六种核心连续概率分布：均匀分布、正态分布、指数分布、拉普拉斯分布、卡方分布、t分布和F分布。从定义出发，详细推导了各分布的期望与方差，并阐述了重要特性如正态分布的3σ原则、指数分布的无记忆性、拉普拉斯分布与L1正则化的联系等。通过公交等待时间、身高分布、服务台排队等实例，展示了这些分布在现实问题中的应用。特别强调了正态分布的中心地位及其标准化方法，以及指数分布在时间间隔建模中的独特优势。
2026-03-26 09:34:06
468
原创 机器学习概率论与统计学--(5)概率论：离散分布
本文系统介绍了四种重要的离散概率分布及其应用。首先分析伯努利分布作为单次二值试验的模型，推导其期望和方差。接着讨论二项分布作为n次独立伯努利试验的扩展，给出概率质量函数公式及参数影响。然后阐述泊松分布对稀有事件的建模，说明其与二项分布的近似关系。最后将概念推广到多类别情形，介绍类别分布和多项式分布的定义及特性。全文通过产品质量检测、网站访问量等实例，展示了这些分布在现实问题中的具体应用，为离散随机现象的统计分析提供了理论基础。
2026-03-25 14:35:57
447
原创 机器学习概率论与统计学--(4)概率论：概率质量函数与概率密度函数
摘要：本文介绍了概率论中两种重要的概率分布描述工具：概率质量函数(PMF)和概率密度函数(PDF)。PMF适用于离散随机变量，直接给出每个可能取值的概率，满足非负性和归一性条件；PDF适用于连续随机变量，通过积分计算区间概率，其单点概率为零。文章详细阐述了二者的定义、性质、与分布函数的关系，并通过典型例子进行说明。最后对比了PMF和PDF的关键特征，强调掌握这两种函数是理解各种概率分布模型的基础。
2026-03-25 11:00:29
485
原创 机器学习概率论与统计学--(3)概率论：随机变量
摘要：随机变量核心概念解析 本文系统介绍了随机变量的定义与分类。随机变量是将随机试验结果映射为实数的函数，分为离散型和连续型两类。离散随机变量通过概率质量函数(PMF)描述，典型例子包括伯努利分布、二项分布和泊松分布，适用于可数结果场景。连续随机变量则用概率密度函数(PDF)刻画，概率由积分计算，单点概率为零。两类随机变量都可通过分布函数统一描述，为概率计算和统计分析提供数学基础。理解这些核心概念是掌握概率论的关键步骤。
2026-03-25 09:54:31
832
原创 机器学习概率论与统计学--(2)统计学基础
摘要：本文系统介绍了统计学的基础知识，包括数据类型、集中趋势度量、离散程度度量和数据可视化方法。首先将数据分为分类变量、有序变量和数值变量三大类；然后详细讲解了均值、中位数、众数等集中趋势指标，以及方差、标准差、四分位距等离散程度指标；最后介绍了直方图、箱线图、散点图等常用可视化工具。文章强调理解数据分布特征的重要性，并提供了针对不同数据特点的分析方法选择建议，为后续的推断统计和机器学习奠定基础。
2026-03-24 11:24:09
673
原创 机器学习概率论与统计学--(1)概率论基础
本文介绍了概率论的核心概念，从样本空间、事件运算到概率的三种定义方式（古典概型、频率学派和公理化）。重点讲解了条件概率、乘法公式、全概率公式和贝叶斯定理，通过实例展示了如何计算条件概率和进行概率推理。特别强调了贝叶斯定理在机器学习中的重要性，包括分类、推断和优化等应用。最后讨论了事件独立性的定义与判断方法，指出独立性不仅取决于物理联系，更在于概率关系。这些基础知识为深入理解概率论及其应用奠定了重要基础。
2026-03-24 08:46:46
664
原创 机器学习线性代数--(13)小结：从线性代数到机器学习
从基础向量到抽象空间，这些概念共同构成了机器学习的数学骨架。掌握它们，不仅能让你看懂算法公式，更能培养深刻的几何直觉，助你在数据科学领域走得更远。
2026-03-24 08:41:38
636
原创 机器学习线性代数--(12)抽象向量空间：超越箭头的世界
本文介绍了线性代数中抽象向量空间的概念，将几何直觉从具体箭头推广到更广泛的数学对象。通过定义满足八条公理的向量空间，说明多项式、函数、数列等都可以构成向量空间。文章阐述了抽象向量空间的线性变换、基与维数等核心概念，并指出有限维空间本质上都与ℝⁿ同构。这种抽象化方法揭示了不同数学领域的统一性，为处理无限维空间奠定了基础，是理解现代数学和物理的重要工具。
2026-03-23 08:38:48
470
原创 机器学习线性代数--(11)特征向量与特征值：变换的“主轴”
本文介绍了线性变换中特征向量与特征值的几何意义与数学求解方法。特征向量是在变换后保持方向不变的向量，对应的特征值表示其伸缩倍数。通过求解特征多项式det(A-λI)=0可得到特征值，再解方程(A-λI)v=0求得特征向量。当特征向量构成一组基时，变换矩阵可对角化，极大简化计算。文中通过具体矩阵示例展示了求解过程，并讨论了不同特征值情况（实数、复数、重根）对应的几何意义。特征向量揭示了变换的主轴方向，是理解线性变换本质的核心工具，在多个领域有广泛应用。
2026-03-23 08:36:12
618
原创 机器学习线性代数--(10)基变换：在不同坐标系之间切换
本文从几何视角探讨向量在不同基下的坐标表示。通过二维平面示例说明，同一向量在不同基下有不同的坐标描述，基变换矩阵P（由新基向量构成）可将新基坐标转换为标准基坐标，其逆矩阵P⁻¹则实现反向转换。进一步分析相似矩阵B=P⁻¹AP的几何意义，指出其代表同一线性变换在不同基下的表示。文章强调基变换在简化计算、理解线性变换本质（如特征值不变性）及多领域应用（量子力学、计算机图形学）中的重要性，最终揭示基变换的本质是改变观察坐标系而不改变向量本身。
2026-03-20 08:40:24
451
原创 机器学习线性代数--(9)叉积
本文从线性变换的角度重新诠释了三维向量叉积的本质。首先介绍了叉积的标准定义：输出一个垂直于输入向量平面的新向量，其大小等于平行四边形面积，方向由右手定则确定。然后通过行列式给出了叉积的计算公式。核心部分揭示了对偶性思想：叉积实际上是"测量平行六面体体积"这个线性变换的对偶向量，这使得叉积的点积等于三个向量张成的有向体积。这种观点不仅解释了叉积公式的来源，还统一了其几何意义，展示了线性代数中深刻的对称美。最后指出这种对偶性思想将在更高阶的数学概念中延续。
2026-03-20 08:38:00
462
原创 机器学习线性代数--(8)点积与对偶性
本文探讨了点积的几何意义及其与线性变换的深刻联系。首先介绍点积的计算定义（坐标相乘相加）和几何解释（投影长度与夹角的函数），指出点积衡量向量间的对齐程度。随后揭示点积与线性变换的对偶性关系：每个高维到一维的线性变换都对应唯一向量，使变换等价于与该向量的点积运算。这种对偶性表明，向量既可视为几何对象，也可作为线性变换的表示。最后强调这种联系为理解更高级的线性代数概念（如对偶空间）奠定了基础，提供了从静态和动态双重视角理解点积的新思路。
2026-03-19 10:13:45
442
原创 机器学习线性代数--(7)逆矩阵、列空间、秩、零空间与非方阵
本文从几何视角解析线性变换的核心概念：逆矩阵对应变换的"撤销"操作，存在条件是行列式非零；列空间描述变换后所有可能的输出集合；秩衡量变换保留的维度信息；零空间反映被压缩到原点的向量集合。通过方阵与非方阵的对比，阐明了不同维度空间之间的变换关系，并揭示这些概念的内在联系——线性变换将输入空间划分为零空间和行空间两部分。这些几何直观为理解矩阵运算提供了形象化的思维框架。
2026-03-19 10:11:30
434
原创 机器学习线性代数--(6)行列式：测量变换对空间的缩放
行列式是描述线性变换对几何空间影响的关键指标，它量化了变换对面积（2D）或体积（3D）的缩放程度。正行列式表示保持定向的缩放，负值意味着空间定向翻转（如镜像），零值则表明空间被压缩降维（矩阵不可逆）。二维行列式ad-bc对应基向量张成的平行四边形有向面积，三维扩展为平行六面体体积。行列式具有乘法性质：复合变换的行列式等于各变换行列式之积。通过几何直观理解行列式，能深刻把握线性变换对空间结构的全局影响。
2026-03-18 08:58:07
386
原创 机器学习线性代数--(5)矩阵乘法与线性变化复合的联系
本文通过几何视角探讨矩阵乘法的本质，揭示其作为连续线性变换复合运算的直观意义。从二维空间出发，展示了复合变换如何通过矩阵乘法实现，并强调变换顺序的重要性（矩阵乘法不可交换）。进一步将概念推广至三维空间，详细解析3×3矩阵的列向量对应基向量变换后的位置，并通过具体示例演示三维旋转、缩放和剪切变换的矩阵表示。文章特别指出三维复合变换的计算规则与二维一致，最后强调行列式在衡量体积变化中的关键作用。这种可视化方法为理解线性代数核心概念提供了清晰的几何框架。
2026-03-18 08:55:44
412
原创 机器学习线性代数--(4)矩阵与线性变换
本文从3Blue1Brown的几何视角出发，探讨了矩阵如何描述线性变换。线性变换需满足直线保持直线和原点不变的性质，可完全由基向量变换后的位置确定。矩阵的列即为变换后的新基向量，矩阵乘法对应变换的复合运算。通过旋转、剪切、缩放等实例，展示了矩阵如何直观描述空间变换。核心思想在于：矩阵乘法就是用原向量坐标组合新基向量，行列式为零时空间会降维。全文以几何直观方式揭示了矩阵作为线性变换描述工具的本质。
2026-03-17 10:42:00
539
原创 机器学习线性代数--(3)线性组合：张成的空间与基
本文介绍了线性代数中基向量、线性组合和张成空间的核心概念。首先以标准坐标系中的î和ĵ为例说明基向量是描述向量空间的"基本语言"，任何向量都可表示为基向量的线性组合。随后解释了线性组合的概念，将其比作通过调整"原料"用量调制新"产品"的过程。接着讨论不同向量组合张成的空间可能为整个平面、一条直线或单个点。最后定义了线性相关/无关的概念，并严格阐述了基的定义：张成空间且线性无关的向量集。这些概念为理解向量空间的结构奠定了基础。
2026-03-17 08:45:02
555
原创 机器学习线性代数--(2)向量究竟是什么？
摘要： 向量是数学、物理和计算机科学中的核心概念，可从三个视角理解：物理学视为空间中的箭头（方向+长度），数学视为有序数字列表，计算机科学视为数值集合。坐标系连接几何与代数视角，向量可用坐标精确描述（如[3,2]）。基本运算包括加法（对应坐标相加或平行四边形法则）和数乘（缩放长度/反转方向）。向量的长度由勾股定理计算，方向可通过单位向量表示。抽象层面，任何满足加法和数乘规则的对象（如函数、数据）均可视为向量。核心思想是：向量兼具几何直观（箭头）与代数表达（坐标），其运算本质是对方向和大小的操作。
2026-03-16 16:40:29
907
原创 机器学习线性代数--(1)核心思想
线性代数是数学中非常优美且实用的一门学科，它研究的是**线性关系**——一种最简单、最基础的关系。你可能已经在生活中不知不觉地用到它的思想了。比如，在平面上移动一个点、解方程组、或者处理图像旋转，背后都是线性代数。
2026-03-16 14:52:15
932
原创 机器学习微积分--(8)小结
微积分是机器学习的数学基石，其核心思想、定理和方法在模型设计、训练和推断中无处不在。下面我们将结合之前讲解的各个概念，逐一总结它们在机器学习中的具体应用。
2026-03-14 09:54:19
385
原创 机器学习微积分--(7)链式法则
本文系统讲解了微积分中的链式法则及其在机器学习中的应用。首先介绍单变量链式法则，通过复合函数导数分解演示计算过程。然后扩展到多变量情形，详细阐述偏导数的链式法则公式及其几何意义。重点讨论向量形式的链式法则表示，特别是雅可比矩阵在反向传播中的应用。文章结合神经网络实例，展示链式法则如何支撑反向传播算法的梯度计算，并指出常见错误和注意事项。链式法则作为理解复杂模型梯度的关键工具，是机器学习尤其是深度学习的重要数学基础。
2026-03-13 13:27:47
482
原创 机器学习微积分--(6)阶乘与阶数
本文系统介绍了数学中的阶乘和阶数两个核心概念。阶乘（n!）定义为1到n的连乘积，在组合数学、泰勒展开等领域广泛应用，具有递归性质和快速增长特性。阶数则用于描述多项式次数或无穷小量级别，在泰勒公式中决定近似精度。文章重点阐释了阶乘在泰勒展开系数中的必要性——源于导数匹配需求，并延伸介绍了双阶乘、伽马函数等扩展知识。这两个基础概念是理解微积分、级数展开等高等数学内容的关键。
2026-03-13 09:26:18
450
原创 机器学习微积分--(5)泰勒公式
泰勒公式是数学分析中的核心工具，用多项式逼近复杂函数。它通过函数在某点的各阶导数构造泰勒多项式，并给出误差估计（余项）。常见形式包括佩亚诺余项（局部近似）和拉格朗日余项（全局误差估计）。泰勒公式广泛应用于近似计算（如e^x、sinx等）、求极限、证明不等式和解微分方程。特殊情况下x₀=0时称为麦克劳林公式。掌握泰勒公式对处理复杂函数具有重要意义，是连接局部信息与整体行为的重要桥梁。
2026-03-12 11:14:00
428
原创 机器学习微积分--(4)牛顿-莱布尼茨公式
牛顿-莱布尼茨公式是微积分基本定理，将微分与积分这两个概念紧密联系，使定积分计算简化为求原函数值的差。该公式表明：若F(x)是f(x)在[a,b]上的原函数，则∫[a,b]f(x)dx=F(b)-F(a)。它由牛顿和莱布尼茨分别从物理和几何角度独立发现，揭示了累积变化率等于总变化量的本质。公式极大地简化了定积分计算，成为微积分核心工具，广泛应用于面积、路程等计算，是微分与积分互逆关系的数学体现。
2026-03-12 11:10:16
432
原创 机器学习微积分--(3)不定积分
摘要：不定积分是导数的逆运算，表示求原函数的过程。定义中指出若F'(x)=f(x)，则F(x)是f(x)的原函数，全体原函数F(x)+C称为不定积分。文章介绍了不定积分的几何意义、线性性质等基本性质，列出了常见函数的不定积分公式，并详细讲解了凑微分法、换元法和分部积分法三种主要积分方法。最后强调积分结果必须加常数C，并可通过求导验证结果正确性。不定积分是学习定积分和微分方程的重要基础。
2026-03-11 10:57:39
595
原创 机器学习微积分--(2)定积分
本文系统介绍了定积分的核心概念与应用。首先从曲边梯形面积问题引入，详细阐述了定积分的定义与几何意义，即通过分割、近似、求和、取极限四个步骤计算累积总量。其次，分析了定积分的基本性质，包括线性性、区间可加性和积分中值定理等。在计算方法方面，重点讲解了微积分基本定理、换元法和分部积分法。最后，展示了定积分在求面积、路程、体积和做功等方面的实际应用，并简要提及反常积分概念。全文通过具体例题，直观呈现了定积分的计算过程与物理意义。
2026-03-11 09:27:25
509
原创 机器学习微积分--(1)核心思想
微积分是研究变化与累积的数学分支，核心包含微分和积分两个互逆运算。微分通过极限思想求瞬时变化率（如速度），积分通过无限细分求累积总量（如路程）。微积分基本定理揭示了二者的深刻联系：积分是微分的逆运算，定积分可通过原函数快速计算。文章通过几何切线斜率、速度位移等实例，直观展示了微积分的核心概念和应用方法，强调其作为描述动态世界的数学语言的重要性。
2026-03-10 08:48:00
1817
原创 机器学习数学基础--(5)小结
摘要：机器学习中的模型训练依赖于导数及其推广概念来优化损失函数。导数用于一元参数优化和学习率调整；偏导数处理多元参数优化和反向传播；方向导数指导最速下降和对抗攻击；梯度则支撑各类优化算法、收敛判断和模型解释。这些数学工具从不同维度刻画函数变化规律，为模型训练提供理论基础和方法支持。
2026-03-10 08:37:43
525
原创 机器学习数学基础--(4)梯度
本文介绍了梯度概念及其性质。梯度是函数在某点变化最快的方向向量，其模为最大方向导数。对于二元和三元函数，梯度分别由偏导数构成。梯度方向垂直于等值线/面，指向函数值增加最快的方向。文章还讨论了梯度与方向导数的关系、几何意义、计算方法及其在物理和优化问题中的应用，如梯度下降法。最后指出梯度是向量而非标量，并强调了其存在条件和与等高线的关系。
2026-03-09 09:09:41
453
原创 机器学习数学基础--(3)方向导数
方向导数是多元函数沿任意给定方向的变化率，用于解决实际问题中非坐标轴方向的变化问题。其定义为函数在某点沿单位向量方向的极限变化率，计算公式为梯度与方向向量的点积。方向导数与梯度密切相关：梯度方向是方向导数最大的方向，模长为最大值；垂直梯度方向的方向导数为零。计算方向导数需先求偏导数和方向余弦，典型应用包括最速下降法等优化问题。需要注意的是，方向导数存在不一定要求函数可微，但可微函数的方向导数必存在且可用梯度公式计算。
2026-03-09 09:08:20
339
原创 机器学习数学基础--(2)偏导数
本文介绍了偏导数的概念与应用。偏导数用于研究多元函数中单个变量变化对函数的影响，计算时将其他变量视为常数。通过几何意义可理解为曲面在坐标轴方向的切线斜率。文章详细阐述了偏导数的定义、计算方法、高阶偏导数及几何解释，并指出偏导数在极值分析、梯度计算等领域的应用。同时强调了偏导数存在与函数连续性的区别，以及计算时的注意事项。
2026-03-06 13:00:29
409
原创 机器学习数学基础--(1)导数
本文系统介绍了导数的概念与应用。导数描述函数变化率，通过瞬时速度和切线斜率两个实例引出定义：函数在某点的导数是增量比值的极限。导数具有几何意义（切线斜率）和物理意义（瞬时速度）。文章详细讲解了基本初等函数的导数公式、四则运算法则和链式法则，并介绍了高阶导数的概念。最后指出导数在判断单调性、求极值等方面的应用，强调可导必连续但连续不一定可导的特性。全文为理解导数提供了清晰的理论框架和实用方法。
2026-03-06 11:30:15
807
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人