【机器学习中的数学基础】（4）——笔记

郭十六弟

已于 2024-06-26 17:11:34 修改

阅读量858

点赞数 34

文章标签：机器学习笔记人工智能

于 2024-06-20 20:14:26 首次发布

本文链接：https://blog.csdn.net/g1997c/article/details/139827259

版权

一、随机变量与概率分布

随机变量和概率分布是概率论和统计学中的核心概念，用于描述随机现象和不确定性。

随机变量

基本概念

随机变量：一种取值不确定的变量，它的取值由随机试验的结果决定。
- 离散随机变量：取值为有限个或可数无限个，如掷骰子的结果（1到6）。
- 连续随机变量：取值为连续区间内的无穷多个值，如某人的身高（可以是任意实数）。

直观解释

想象你在玩一个游戏，掷骰子的结果是不确定的，这就是一个离散随机变量。
如果你测量每天的温度，温度的具体值也是不确定的，这就是一个连续随机变量。

概率分布

基本概念

概率分布：描述随机变量的所有可能取值以及每个取值的概率。
- 概率质量函数（PMF）：用于离散随机变量，描述每个取值的概率。
- 概率密度函数（PDF）：用于连续随机变量，描述取某个值的相对可能性。
- 累积分布函数（CDF）：描述随机变量取值小于或等于某个特定值的概率，适用于离散和连续随机变量。

直观解释

对于离散随机变量，概率分布就像一个清单，列出了每个可能的结果及其概率。例如，掷骰子得到1到6的概率都是1/6。
对于连续随机变量，概率分布是一个光滑的曲线，表示每个值的相对可能性。例如，某人身高的概率密度函数可能是一条钟形曲线（正态分布）。

常见的概率分布

离散概率分布

二项分布：
- 描述在 nnn 次独立重复试验中，成功次数的分布，每次试验成功的概率为 ppp。
- 例如，抛10次硬币，每次正面朝上的概率为0.5，计算正面朝上次数的分布。
泊松分布：
- 描述在固定时间或空间内，某事件发生次数的分布。
- 例如，某电话客服中心每小时接到的电话数。

连续概率分布

正态分布（高斯分布）：
- 描述自然界中许多现象的分布，其密度函数是对称的钟形曲线。
- 例如，人的身高、考试成绩。
均匀分布：
- 描述在一个区间内每个值都有相同概率的分布。
- 例如，生成一个范围在0到1之间的随机数。

应用

统计推断：
- 随机变量和概率分布用于估计总体参数、检验假设和进行预测。
风险分析：
- 在金融和保险领域，通过概率分布分析风险和不确定性。
质量控制：
- 在制造业，通过概率分布监控产品质量，确保生产过程的稳定性。
机器学习：
- 概率分布用于模型的概率预测和参数估计，如贝叶斯方法、最大似然估计等。

总结

随机变量：描述随机现象的变量，可以是离散的或连续的。
概率分布：描述随机变量的可能取值及其概率，包括离散的概率质量函数（PMF）和连续的概率密度函数（PDF）。
常见分布：离散分布如二项分布、泊松分布，连续分布如正态分布、均匀分布。
应用广泛：统计推断、风险分析、质量控制和机器学习等领域。

二、贝叶斯定理

贝叶斯定理是概率论中的一个重要法则，用于更新事件发生的概率，基于新获得的信息。它在许多领域都有广泛的应用，包括统计学、机器学习、医学诊断等。

通俗解释

基本概念：
- 贝叶斯定理描述了如何根据新证据来更新先验概率，得到后验概率。
- 先验概率：在获得新证据之前，关于事件的初始估计。
- 后验概率：在获得新证据之后，关于事件的更新估计。
直观类比：
- 想象你是一名侦探，你正在调查一个案件，初始的嫌疑人是三个人，你对每个人是否是罪犯都有一个初步的猜测（先验概率）。后来，你找到了新的证据（如指纹），你根据这个新证据重新评估每个嫌疑人的嫌疑程度（后验概率）。

应用

医学诊断：
- 评估疾病的可能性，基于检测结果和已知的疾病流行率。
机器学习：
- 贝叶斯分类器、贝叶斯网络等模型，用于分类和预测任务。
金融领域：
- 评估投资风险和回报，根据新市场信息调整投资策略。
自然语言处理：
- 词语预测和拼写校正，根据上下文信息调整词语的概率。
决策分析：
- 在不确定性条件下，进行合理的决策，基于新信息不断更新决策模型。

总结

贝叶斯定理：用于根据新证据更新事件的概率。
先验概率：初始估计的概率。
后验概率：根据新证据更新后的概率。
广泛应用：医学诊断、机器学习、金融分析、自然语言处理和决策分析等领域。

理解贝叶斯定理可以帮助我们在不确定性条件下做出更好的决策，并且在各种实际问题中提供有力的概率分析工具。

三、期望方差条件数学期望

期望、方差和条件数学期望是概率论和统计学中的基本概念，用于描述随机变量的分布特性。

期望（数学期望）

基本概念

期望（数学期望、均值）：随机变量的所有可能值按照其概率加权平均的结果，表示随机变量的平均取值。

直观解释

想象你在掷一个均匀的六面骰子，期望值是每次掷骰子的平均结果。虽然你每次掷出的结果都是整数（1到6），但如果你掷很多次，结果的平均值会趋近于某个值（3.5）。

方差

基本概念

方差：衡量随机变量取值与其期望之间的偏离程度，表示数据的离散程度。

直观解释

如果你掷一个均匀的六面骰子，结果会围绕期望值3.5波动。方差量化了这种波动的大小。波动越大，方差越大。

条件数学期望

基本概念

条件数学期望：在已知某些条件下，随机变量的期望值。

直观解释

假设你知道今天会下雨，那么你今天带伞的概率会比不知道天气情况时更高。条件数学期望就是在这种情况下，重新计算的期望值。

例子

假设你有一袋子糖果，其中70%是红色，30%是绿色。你随机抽取一颗糖果，如果你知道这颗糖果是红色的（条件），那么你再抽到红色糖果的期望值就会根据这个条件进行调整。

总结

期望：随机变量的加权平均值，反映随机变量的中心位置。
方差：衡量随机变量的离散程度，反映数据的波动大小。
条件数学期望：在已知某些条件下，重新计算的随机变量的期望值。

四、大数定律

大数定律（Law of Large Numbers, LLN）是概率论中的一个重要定理，描述了大量重复试验的平均结果如何趋近于期望值。

通俗解释

基本概念：
- 大数定律表明，随着试验次数的增加，样本的平均值会越来越接近总体的期望值。
- 它解释了为什么在大量重复试验中，实际结果会稳定在预期的理论值附近。
直观类比：
- 想象你在掷一枚公平的硬币。尽管短时间内可能出现连续多次正面或反面，但如果你掷硬币的次数足够多，正面和反面的比例会接近1:1。
- 同样，如果你不断重复一个实验（如测量某种现象的结果），即使每次结果有所不同，所有结果的平均值最终会稳定在一个特定值附近，这个值就是理论上的期望值。

应用

统计推断：
- 大数定律是统计学的基础之一，确保样本均值是总体均值的无偏估计。
金融市场：
- 在金融市场中，大数定律用于分析股票价格和市场行为，帮助投资者做出长期决策。
质量控制：
- 在制造业中，通过大量的产品检测，样本均值可以反映产品的整体质量水平。
保险业：
- 保险公司利用大数定律，通过大量保单数据估计风险和设定保费。

总结

大数定律：描述了大量独立重复试验中，样本平均值趋近于总体期望值的现象。
形式：包括弱大数定律和强大数定律。
意义：确保大样本数据能够反映总体特征，是统计推断和概率论的基石。
应用：广泛应用于统计学、金融、质量控制和保险等领域。

大数定律帮助我们理解和预测大规模随机现象的行为，提供了坚实的理论基础。

五、特征函数与中心极限定理

特征函数和中心极限定理是概率论中的两个重要概念，用于研究随机变量的分布及其极限性质。

应用

统计推断：在估计总体参数时，使用样本均值和样本方差。由于中心极限定理，样本均值的分布可以近似为正态分布。
质量控制：在制造过程中，监控产品的质量指标。样本平均值的分布可以用正态分布来近似，从而判断产品质量是否符合标准。
金融分析：在分析股票收益率时，利用中心极限定理，收益率的平均值可以近似为正态分布，从而进行风险评估和投资决策。

特征函数与中心极限定理的关系

特征函数在证明中心极限定理中起到了关键作用。通过特征函数可以简化和统一处理独立随机变量之和的分布问题。具体步骤如下：

求特征函数：计算独立随机变量的特征函数。
特征函数的积：利用独立性的特性，随机变量和的特征函数是各个随机变量特征函数的乘积。
利用渐近展开：通过特征函数的渐近展开，证明标准化和的特征函数趋于标准正态分布的特征函数。
逆变换：通过逆傅里叶变换，得到标准化和的分布趋于正态分布。

总结

特征函数：描述随机变量分布的傅里叶变换，具有唯一性和逆变换性质，通过它可以计算期望和方差。
中心极限定理：表明独立同分布的随机变量之和在标准化后趋于正态分布，广泛应用于统计推断、质量控制和金融分析。
联系：特征函数在证明中心极限定理中起关键作用，通过特征函数的性质可以简化独立随机变量和的分布问题。

理解特征函数和中心极限定理，可以更深入地研究随机变量的分布及其极限性质，对概率论和统计学的许多应用问题具有重要意义。

六、统计学基本概念

统计学是一门通过收集、分析、解释和呈现数据来理解和推断信息的科学。

1. 数据与变量

数据

数据：是对观察或实验结果的记录，可以是数字、文字、图像等形式。数据是统计分析的基础。

变量

变量：是一个可以取不同值的属性或特征。
- 定性变量（分类变量）：表示类别或类型，如性别（男/女）、颜色（红/蓝/绿）。
- 定量变量（数值变量）：表示数量，如年龄、收入、身高。
  - 离散变量：取值为有限个或可数无限个，如掷骰子的结果（1到6）。
  - 连续变量：取值为连续区间内的无穷多个值，如某人的身高（可以是任意实数）。

2. 数据集与样本

数据集

数据集：是一组相关数据的集合，通常以表格形式表示，每行代表一个观察值，每列代表一个变量。

样本与总体

总体：是研究对象的全体，包含所有可能的观测值。例如，研究全国居民的收入水平，总体就是全国所有居民。
样本：是从总体中选取的一部分观测值，用于推断总体特征。例如，从全国居民中随机选取1000人调查他们的收入。

3. 描述统计学

描述统计量

均值（平均值）：数据的平均值，表示数据的中心位置。
- 计算方法：将所有数据相加，除以数据的个数。
- 例如，考试成绩：80, 85, 90，均值为 (80 + 85 + 90) / 3 = 85。
中位数：将数据按大小顺序排列，中间位置的值，表示数据的中心位置。
- 例如，数据：70, 80, 90，中位数为80。
众数：数据中出现频率最高的值。
- 例如，数据：70, 80, 80, 90，众数为80。
方差和标准差：描述数据的离散程度，表示数据的波动大小。
- 方差：数据与均值的平方差的平均值。
- 标准差：方差的平方根。
- 例如，数据：80, 85, 90，均值为85，方差为[(80-85)^2 + (85-85)^2 + (90-85)^2] / 3 = 25，标准差为 √25 = 5。

4. 概率与概率分布

概率

概率：表示事件发生的可能性，取值在0到1之间。
- 例如，抛一枚硬币，正面朝上的概率为0.5。

概率分布

概率分布：描述随机变量所有可能取值的概率。
- 离散概率分布：用于离散随机变量，描述每个可能值的概率。
  - 例如，掷骰子的结果（1到6）的概率分布。
- 连续概率分布：用于连续随机变量，描述每个区间的概率。
  - 例如，人的身高的概率分布。

5. 抽样与抽样分布

抽样

抽样：从总体中选取样本的过程，目的是通过样本推断总体。
- 简单随机抽样：每个总体个体有相同的被抽取概率。
- 分层抽样：将总体分成若干层，从每层中随机抽取样本。
- 整群抽样：将总体分成若干群，从群中随机抽取整个群。

抽样分布

抽样分布：描述样本统计量（如样本均值、样本方差）的概率分布。
- 例如，反复抽取样本，每个样本的均值形成的分布。

6. 假设检验

假设

假设：对总体特征的猜测或断言，通常有两种假设：
- 原假设（H0）：表示没有差异或没有效果的假设。
- 备择假设（H1）：表示有差异或有效果的假设。

检验步骤

设定假设：提出原假设和备择假设。
选择检验方法：根据数据类型和研究问题，选择适当的检验方法（如t检验、卡方检验）。
计算检验统计量：根据样本数据计算检验统计量。
确定显著性水平（α）：通常设定为0.05。
比较检验统计量与临界值：如果检验统计量超过临界值，则拒绝原假设，接受备择假设。

7. 置信区间

置信区间

置信区间：估计总体参数范围的区间，表示在一定置信水平下参数落入该区间的概率。
- 例如，在95%的置信水平下，估计全国平均收入的置信区间为（45000, 55000）。

8. 回归分析

简单线性回归

简单线性回归：分析两个变量之间的线性关系，模型形式为。
- 例如，分析温度（x）与冰淇淋销量（y）之间的关系。

多元线性回归

多元线性回归：分析多个自变量与一个因变量之间的关系，模型形式为。
- 例如，分析温度、广告支出、节假日等多个因素对冰淇淋销量的影响。

9. 方差分析（ANOVA）

方差分析

方差分析：用于比较多个样本均值是否有显著差异。
- 例如，比较不同教学方法对学生成绩的影响。

总结

数据与变量：数据是研究的基础，变量是数据的属性。
数据集与样本：样本是从总体中选取的一部分，用于推断总体特征。
描述统计学：用来描述和总结数据的特征，包括均值、中位数、众数、方差和标准差。
概率与概率分布：概率表示事件发生的可能性，概率分布描述随机变量的分布情况。
抽样与抽样分布：抽样是从总体中选取样本，抽样分布描述样本统计量的分布。
假设检验：用于检验关于总体特征的假设，通过统计方法决定是否拒绝原假设。
置信区间：估计总体参数范围的区间，表示参数落入该区间的概率。
回归分析：用于分析变量之间的关系，通过模型预测和解释因变量。
方差分析：用于比较多个样本均值是否有显著差异。

这些基本概念构成了统计学的基础，通过掌握这些概念，可以更好地理解和分析数据，做出合理的推断和决策。

七、极大似然估计

极大似然估计（Maximum Likelihood Estimation, MLE）是统计学中的一种方法，用于估计统计模型参数，使得在给定数据下，观测数据出现的概率最大。以下是对极大似然估计的通俗理解和总结：

通俗理解

基本概念：
- 极大似然估计是一种估计参数的方法，选择那些使观测数据最有可能出现的参数值。
- 似然函数：给定参数时，观测数据出现的概率。极大似然估计通过最大化这个函数来找到最佳参数。
直观类比：
- 想象你是一名侦探，试图找到最可能导致当前证据的嫌疑人。你会根据所有线索，找出那个最可能的嫌疑人。
- 同样，在统计学中，我们根据观测到的数据，选择那些最可能导致这些数据的参数。

应用

统计推断：
- 极大似然估计广泛用于参数估计，推断总体特征。
机器学习：
- 在训练模型时，极大似然估计用于最大化模型参数，使得观测数据在模型下的概率最大。
医学研究：
- 在医学试验中，用于估计治疗效果、疾病概率等。
金融分析：
- 在金融市场中，用于估计风险参数和资产价格分布。

总结

极大似然估计：一种估计参数的方法，通过最大化观测数据在模型下的概率来找到最佳参数。
步骤：定义模型和参数、写出似然函数、取对数似然函数、最大化对数似然函数。
应用：广泛应用于统计推断、机器学习、医学研究和金融分析等领域。

理解极大似然估计可以帮助我们更准确地估计模型参数，从而更好地进行数据分析和推断。

八、最大后验估计

最大后验估计（Maximum A Posteriori Estimation, MAP）是贝叶斯统计中的一种估计方法，用于在给定数据和先验信息的情况下，找到参数的最佳估计值。MAP估计结合了数据的似然性和先验分布信息，使得估计更加稳健，尤其是在数据较少或存在噪声的情况下。

应用

统计推断：
- 在参数估计中，结合先验信息，使得估计更加稳健，尤其是在数据较少时。
机器学习：
- 在模型训练中，使用先验信息改进模型参数估计，如贝叶斯分类器、贝叶斯网络。
医学研究：
- 结合先验知识，如临床经验，改进疾病诊断和治疗效果评估。
金融分析：
- 在风险评估中，结合历史数据和专家知识，提高预测精度。

总结

最大后验估计：一种结合先验信息和观测数据的参数估计方法，通过最大化后验概率来估计参数。
步骤：定义模型和参数、选择先验分布、写出似然函数、计算后验分布、最大化后验概率。
应用：广泛应用于统计推断、机器学习、医学研究和金融分析等领域。

理解最大后验估计可以帮助我们更好地结合先验知识和观测数据，进行更加准确和稳健的参数估计。

九、蒙特卡洛方法

蒙特卡洛方法（Monte Carlo Method）是一类利用随机抽样来近似解决数学问题的方法，特别适用于数值计算和模拟。

通俗理解

基本概念：
- 蒙特卡洛方法：通过大量随机样本的模拟和统计分析来近似解决复杂问题。
- 名称来源于摩纳哥的蒙特卡洛赌场，因为该方法依赖于随机抽样，类似于赌博中的随机性。
直观类比：
- 想象你在一片森林中寻找最可能藏有宝藏的地方。你无法完全搜索整个森林，所以你决定随机选择一些点并挖掘。通过分析这些随机点的结果，你可以估计宝藏的位置。
- 同样，蒙特卡洛方法通过随机抽样和统计分析来估计问题的解。

基本步骤

定义问题：
- 确定需要解决的问题，可以是积分计算、优化问题或系统模拟。
随机抽样：
- 从问题的定义域中生成大量随机样本。
计算与统计：
- 对每个样本计算目标函数值或进行模拟。
- 汇总所有样本的结果，通过统计分析得到问题的近似解。
结果分析：
- 根据抽样结果进行估计和不确定性分析。

应用

物理模拟：
- 用于模拟复杂物理系统，如粒子运动、热传导等。
金融分析：
- 评估风险、定价期权和其他金融衍生品。
工程设计：
- 评估系统可靠性和性能，通过随机模拟了解系统行为。
统计推断：
- 用于估计复杂概率分布的特征，如均值、方差等。
优化问题：
- 通过随机搜索和模拟退火等方法，找到复杂问题的最优解。

优缺点

优点

适用性广：能处理复杂的、多维的、非线性的系统和问题。
易于实现：只需随机抽样和基本的统计分析。
渐进精度：随着样本数量的增加，估计精度逐渐提高。

缺点

计算成本高：需要大量样本，计算量大，特别是对高精度要求时。
收敛速度慢：对于某些问题，收敛速度可能较慢。

总结

蒙特卡洛方法：利用随机抽样和统计分析来近似解决复杂问题的数值方法。
基本步骤：定义问题、随机抽样、计算与统计、结果分析。
应用广泛：包括物理模拟、金融分析、工程设计、统计推断和优化问题。
优缺点：适用性广且易于实现，但计算成本高且收敛速度慢。

理解蒙特卡洛方法可以帮助我们在处理复杂问题时，通过随机抽样和统计分析来找到近似解，是一种强大的数值计算工具。

十、Bootstrap方法

Bootstrap方法是一种强大的统计工具，通过重采样技术来估计统计量的分布。它在统计推断中非常有用，特别是在样本量较小或数据不满足常规假设时。

通俗理解

基本概念：
- Bootstrap方法：通过对现有样本进行多次重复抽样（有放回地抽样），从而估计统计量的分布。
- 这种方法无需对数据的分布做出假设，因此非常灵活和广泛适用。
直观类比：
- 想象你有一袋糖果，你想知道每种糖果的比例。你可以从袋子里随机取一把糖果记录下来，然后把这些糖果放回袋子里，再取一把。重复这个过程多次，你就可以估计每种糖果在袋子里的比例。
- 同样，Bootstrap方法通过对样本数据的多次重采样，估计总体的统计特征。

基本步骤

从原始样本中抽取子样本：
- 从原始样本（大小为 nnn）中有放回地随机抽取一个子样本（大小也是 nnn）。由于是有放回的抽样，同一个样本可能被抽取多次。
计算统计量：
- 对每个子样本计算感兴趣的统计量（如均值、方差、中位数等）。
重复上述步骤：
- 重复步骤1和2 BBB 次（通常 BBB 是一个较大的数，如1000或10000次），得到 BBB 个统计量的值。
估计统计量的分布：
- 通过这 BBB 个统计量的值，估计统计量的分布，例如均值的标准误差、置信区间等。

应用

估计标准误差：
- Bootstrap方法可以估计复杂统计量的标准误差，如回归系数、分位数等。
构建置信区间：
- 通过Bootstrap方法，可以在不依赖于特定分布假设的情况下，构建各种统计量的置信区间。
模型验证：
- 在机器学习和回归分析中，Bootstrap方法用于评估模型的稳定性和预测能力。
缺失数据处理：
- Bootstrap方法可以用于在处理缺失数据时，估计数据的统计特征。

优缺点

优点

非参数方法：不依赖于数据的分布假设，适用范围广。
简单易用：实现相对简单，只需进行重复抽样和计算。
灵活性：可以应用于各种统计量的估计，如均值、方差、回归系数等。

缺点

计算成本高：需要进行大量的重采样和计算，计算量大。
依赖样本：Bootstrap方法依赖于原始样本的代表性，如果样本本身存在偏差，估计结果可能不准确。

总结

Bootstrap方法：通过对现有样本进行多次有放回地抽样，估计统计量的分布。
基本步骤：抽取子样本、计算统计量、重复抽样、估计分布。
应用：广泛应用于标准误差估计、置信区间构建、模型验证和缺失数据处理等领域。
优缺点：具有非参数性和灵活性，但计算成本高且依赖样本代表性。

Bootstrap方法为统计推断提供了一种强大而灵活的工具，特别适用于样本量较小或数据不满足常规假设的情况。

十一、EM算法

EM算法（Expectation-Maximization Algorithm）是一种用于含有隐变量或缺失数据的统计模型参数估计的迭代算法。它在统计学和机器学习中广泛应用，特别是在混合模型（如高斯混合模型）的参数估计中。

通俗理解

基本概念：
- EM算法：是一种迭代算法，用于在含有隐变量（或未观察变量）的情况下，估计模型的参数。
- 隐变量：在实际观测数据中未被直接观察到的变量，但影响观测数据的生成过程。
- 期望步骤（E步）：根据当前参数估计值，计算隐变量的期望值。
- 最大化步骤（M步）：最大化对数似然函数，更新参数估计值。
直观类比：
- 想象你在一家餐馆工作，每天记录每个顾客的消费金额，但你不知道每个顾客具体点了哪些菜（隐变量）。你希望通过记录的消费金额（观测数据），估计出每道菜的价格（参数）。你可以先假设一组价格，根据消费金额估计每个顾客可能点的菜，然后根据这些估计更新菜的价格。反复迭代，直到菜的价格收敛到一个稳定值。