u013600306的博客

从例可以看到，正态总体参数的最大似然估计与矩估计是相同的。是未知参数，取样本观测值为。分别求偏导，得似然方程组。的最大似然估计值分别为。取对数，得对数似然函数。最大似然估计量分别为。

统计推断是通过样本推断总体的方法，核心包括参数估计和假设检验。参数估计分为点估计和区间估计：点估计用统计量估计未知参数（如灯泡平均寿命），常用矩估计和最大似然估计法；区间估计则给出参数范围。估计量评价标准有无偏性（期望等于真值）、有效性（方差更小）和一致性（样本量增大时趋近真值）。不同估计方法可能产生多个估计量，需根据这些标准选择最优。

最大似然估计又称极大似然估计，是一种利用给定样本观测值来评估模型参数的方法，其基本原理为：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。(2) 上述的一般步骤对含有多个未知参数的情形同样适用，只需将求导数变为求偏导数；(3) 判断并求出最大值点，用样本值代入就是参数的最大似然估计值。的所有可能取值范围（称为参数空间），则对于给定的样本观测值。的所有可能取值范围（称为参数空间），则对于给定的样本观测值。的值，使样本观测值出现的可能性最大，即使似然函数。

特征值与特征向量是线性代数中的重要概念。对于n×n矩阵A，若存在非零向量x使得Ax=λx成立，则称λ为特征值，x为对应的特征向量。特征向量在矩阵变换下仅被缩放λ倍。求特征值需解特征方程det(A-λI)=0，得到的根即为特征值。对每个特征值，解齐次方程组(A-λI)x=0可得特征向量。文中通过具体例子演示了求解过程，包括计算特征多项式、求根以及求解特征向量空间。特征值可能重复或为复数，特征向量的非零倍数仍为特征向量。

多元函数的复合函数求导一般比较复杂，特别注意复合函数中哪些是自变量，哪些是中间变量。只有这样才能正确使用链式法则求出结果。为了便于记忆链式法则，可以按照各变量间的复合关系，画成树状图。对于由多个函数复合而得的复合函数，其导数公式可反复应用上式而得。画分枝，并在每个分枝旁写上对应的偏导数。的所有可能路径，以及相应的偏导数。画两个分枝，然后再分别从中间变量。注1 复合函数的求导亦称为。）的偏导数，则复合函数。的求导公式一般也写作。

本周就要讲到贝叶斯决策了，我备课的时候发现数学教材确实说的是后验概率是先验概率的修正，数学教材是经过千锤百炼的，一定有哪里想的不对。模式识别本身就很难，信号处理对我来说本身难度不高，但是难在如何用通俗语言表达，且打补丁很难，由于冈萨雷斯完全不懂数字滤波器，被他坑的前面没有DTFT的基础，没有连续到离散FT的桥梁，很难统一。Richard.O.Duda的《模式分类》是从国外引入的经典教材，国内某人誊抄他之后，其他人都誊抄这个人的，所以只要杜达错了，国内的书基本上就都错了。，先验概率能作为判决的依据，它不能，

萨维奇是将贝叶斯决策用于模式分类的重要人物。通过将概率论与决策理论相结合，为模式分类提供了有效的工具和方法。贝叶斯提出的这个方法原初是为了解决“逆概”问题。

的综合作用效果，即其各个影响因素的加权平均，各自的权重是每个因素出现的概率。贝叶斯公式是利用已有结论重新评估或修正各个条件出现的概率，公式中的。是否发生）的前提下认定的各条件发生的概率；在获得了新的信息（事件。已经发生）后，对先前各条件发生概率的修正，即形成概率。全概率公式突出了一个“全”，即任何随机事件。式 (1.1) 和式 (1.2) 都称为。概率乘法公式可以推广到多个事件的情形：设。分别称作原因或条件的先验概率和后验概率。发生的概率是其全部影响因素。发生的条件下随机事件。，则对于任意随机事件。

统计学中，无偏估计（Unbiased Estimation）是指对于某个参数的估计量，如果其期望值等于该参数的真实值，则称这个估计量为无偏估计。换句话说，如果多次从同一总体中抽取样本，并使用某种方法来估计参数，那么这些估计值的平均值应该等于该参数的真实值。，则样本方差将是一个有偏估计。另外，经常有偏比无偏有更好的性质，且在样本数充分大时，有偏则。一个经典的例子是样本均值作为总体均值的无偏估计。机器学习中涉及的统计量普遍是选择一个方向，所以并不关注前面的系数，除以。，所以在实际的应用中，经常会使用有偏估计。

的内积的平方不超过这两个向量各自内积的乘积。柯西-施瓦茨不等式的等号成立的条件，即当两个向量。这条定理描述了向量内积的一个重要性质，即柯西-施瓦茨不等式。该不等式表明两个向量。线性相关时，等号成立。同时，它还给出了一个特例，即当向量。其中，等号成立的充要条件是向量。为零向量时，等号显然成立。定理 向量的内积满足。

上篇：AATATAPPTAPΛΛAPPTAPΛΛA。

内积（Inner Product），也称为点积（Dot Product）或标量积，两个向量点积的结果是一个标量（通常是实数或复数）。

相关系数的另一个解释是：它是相应标准化变量的协方差。

下篇：矩阵对角化→实对称矩阵的对角化→实对称半正定矩阵的对角化。

面积为1的概率空间，任何事件都对应概率空间的一个子集，事件发生的概率是子集的面积。

特征值（Eigenvalue）是线性变换下不变的缩放因子

梯度下降法（gradient descent）或最速下降法（steepest descent）是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。梯度下降法是一种迭代算法，通过不断更新参数x{\bm x}x来最小化目标函数fxf({\bm x})fx。搜索方向通常选择负梯度方向pk−∇fxkpk​−∇fxk。步长λk\lambda_kλk​通过一维搜索确定，以确保每次迭代都能有效减少函数值。

MLE （最大似然估计）是一种非常有效的参数估计方法，但当分布中有多余参数或数据为截尾或缺失时，其 MLE 的求取是比较困难的。人为引入的隐变量（latent variable）【例如，扩散模型中的中间状态】是不可观测的。也称数据 ((y, z)) 为完全数据（complete data），而观测到的数据 ( y ) 称为不完全数据。EM算法，全称为Expectation-Maximization算法（期望最大化算法），是一种迭代算法，主要用于处理含有隐变量的概率模型的参数估计问题。

内积用于计算一个向量在另一个向量上的投影长度。：计算的是x在w方向上的分量长度。若有一个非零向量w，则向量x在w方向上的投影长度可通过内积计算projw​x的长度∥w∥⟨xw⟩​∥x∥cosφ其中，⟨wx⟩∥w∥∥x∥cosφ。：计算的是x在w方向上的分量向量。x在wprojw​x∥w∥⟨xw⟩​∥w∥w​⟨ww⟩⟨xw⟩​w。

统计推断是根据样本信息对总体分布或总体的特征数进行推断。事实上，这是经典学派对统计推断的规定，这里的统计推断使用到两种信息：总体信息和样本信息；而贝叶斯学派认为，除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。下面先把三种信息加以说明。（1）总体信息总体信息即总体分布或总体所属分布族提供的信息。譬如，若已知“总体是正态分布”，则就知道很多信息。譬如：总体的一切阶矩都存在，总体密度函数关于均值对称，总体的所有性质由其一、二阶矩决定，有许多成熟的统计推断方法可供选用等。

记n维随机向量XX1​X2​Xn​TEXEX1​EX2​EXn​))为n维随机向量X的数学期望向量，简称X的数学期望，而称​E[(X−EX))X−EXT​VarX1​CovX2​X1​⋮CovXn​X1​​CovX1​X2​VarX2​⋮CovXn​X2​​⋯⋯⋱⋯​CovX1​Xn​CovX2​Xn​。

的范数（长度）的平方。

设X1​X2​⋯Xn​是来自总体X的一个样本，gX1​X2​⋯Xn​是X1​X2​⋯Xn​的函数。若g中不含未知参数，则称gX1​X2​⋯Xn​为一统计量。因为X1​X2​⋯Xn​都是随机变量，而统计量gX1​X2​⋯Xn​是随机变量的函数，因此统计量是一个随机变量。设x1​x2​⋯xn​是相应于样本X1​X2​⋯Xn​的样本值，则称g。

约束最优化问题：min⁡f(x),x∈Rn,s.t.ci(x)=0,i∈E={1,2,⋯ ,l},ci(x)⩽0,i∈I={l+1,l+2,⋯ ,l+m}.\begin{aligned}\min \quad& f(\boldsymbol{x}), \quad \boldsymbol{x} \in R^n, \\\text{s.t.} \quad &c_i(\boldsymbol{x}) = 0, i \in E = \{1, 2, \cdots, l\},\\ &c_i(\boldsymbol{

无约束最优化问题minfxx∈Rn的求解方法。

在机器学习中，也称为误差矩阵，常用来可视化地评估分类模型的性能。在分类问题中，假设共有K个类别，混淆矩阵是一个K行K列的方阵，其每一行代表了样本的真实归属类别，每一行的数据之和表示属于该类别的真实样本总数；每一列代表了样本的预测类别，每一列的数据之和表示被预测为该类别的样本总数。

设X和Y是定义在同一样本空间Ω上的两个随机变量，称由它们组成的向量XY为二维随机变量，亦称为二维随机向量，其中称X和Y是二维随机变量的分量。采用多个随机变量去描述一个随机现象，所以定义中的随机变量X和Y是要求定义在同一个样本空间上。相对于二维随机变量XY，也称X和Y是一维随机变量。若随机变量X和Y之间存在相互关系，则需要将XY作为一个整体（向量）来进行研究。通过将两个随机变量X和Y组合成一个二维随机变量XY，可以更全面地描述和分析随机现象。

随机变量的引入，使我们能用随机变量来描述各种随机现象，并能利用数学分析的方法对随机试验的结果进行分析和处理。

这种定义方式与离散型随机变量的期望值计算类似，但使用的是积分而不是求和。离散型随机变量的期望值是所有可能值与其对应概率的乘积之和。这个定义说明了如何计算连续型随机变量的期望值。为取自某总体的样本，其算术平均值称为样本均值，一般用。的数学期望，简称期望或均值。的数学期望，简称期望或均值。是从总体中抽取的样本值。

分支一的逻辑连贯性。

随机事件在一次随机试验中是否发生，事先无法预知，但是人们在实践中认识到，在相同的条件下进行大量重复试验，试验结果具有统计规律性，即随机事件在这种大量重复试验的条件下出现的机会是稳定的。于是，可以将随机事件的出现机会与一定的数值相对应。

不知道当初谁想的把概率论和数理统计合并，作为一门课。这本身是可以合并，完整的一条线。但是，作为任课老师应该从整体上交代清楚，毕竟是两个学科，不同的学科合并必然会有各种不协调的问题。凡是只讲怎么代入公式计算，没有解释，没有剖析，不讲整个知识体系以及逻辑关系，那样的概率老师都应该回家卖红薯。

分支一：从随机现象到样本空间到随机事件再到概率。从随机事件到随机变量：为了进行定量的数学处理，必须把随机现象的结果数量化，这就是引入随机变量的原因。分支二：从随机现象到样本空间到随机变量的取值到分布，再到采样到随机样本，根据样本统计推断，估计分布。概率论与数理统计的教材中缺少采样的部分，就使这条线断了。

概率密度估计中的贝叶斯学习，其目的是从有限样本估计总体分布。然后以后验概率密度作为概率密度，计算未知参数的概率密度函数的数学期望，作为总体估计。最大似然参数估计和贝叶斯参数估计的区别在于最大似然估计认为参数是确定性的量，而贝叶斯估计认为参数是随机变量。统计学中的贝叶斯参数估计是，计算估计值和真实值偏差的数学期望。最小均方估计实际上实际计算以后验概率为概率的参数的均值，而最大后验概率是后验概率的峰值对应的参数。线性最小均方估计和最小二乘估计的区别本质在于前者是期望风险最小化，后者是经验风险最小化。

在贝叶斯框架下，后验期望估计（Posterior Mean Estimator, PME）和最小均方估计（Minimum Mean Square Error Estimator, MMSE）是等价的。

定义：贝叶斯参数估计是一种参数估计方法，它利用贝叶斯定理结合新的证据（观测数据）及以前的先验概率（对参数的初步信念），来得到参数的后验概率（在给定证据下参数的更新信念）。定义：贝叶斯学习是利用参数的先验分布，由样本信息求来的后验分布，直接求出总体分布的过程。贝叶斯参数估计和贝叶斯学习都依赖于贝叶斯定理，都强调先验概率在推断过程中的重要性，并都使用后验概率进行参数估计或总体分布的推断。本质：贝叶斯参数估计的本质是通过贝叶斯决策得到参数的最优估计，使总期望风险最小。根据经验给出待估参数的先验分布（主观分布）。

随机变量结合了变量的不确定性属性与函数的映射特性，它通过函数的方式将随机事件的结果量化，并通过概率论的语言来描述这些结果出现的可能性分布。随机变量是鸢尾花的花瓣长度（petal length）和花瓣宽度（petal width），取值是某个区间的实数，单位是cm。从变量的角度来看，随机变量是指在随机试验或者随机过程中可能取不同数值的一种变量，它的数值受随机因素影响，无法事先确切预知。随机变量的取值空间，也称为随机变量的定义域或者值域，是随机变量所有可能取值的集合。随机变量是样本空间到取值空间的映射。

简而言之，点积是内积在实数向量空间中的具体形式，而内积是一个更广泛的概念，它适用于包括复数向量空间在内的更多类型的向量空间。在实际应用中，当我们谈论点积时，我们通常是在指实数向量的内积。

相关系数（通常指的是皮尔逊相关系数）用于衡量两个变量之间的线性关系强度和方向。可以通过它们的协方差和各自的方差来计算。接近于 -1 时，表示两个变量之间存在强负相关；接近于 0 时，则表示两个变量之间几乎不存在线性关系。这个公式表明了相关系数是如何通过协方差和方差来计算的。接近于 +1 时，表示两个变量之间存在强正相关；请注意，相关系数的取值范围是从 -1 到 +1。相关系数可以通过协方差来表示。

数分学习24年了，今天才发现多重积分的变量变换公式中，雅可比矩阵的行列式外，还有个绝对值。可能总是从笛卡尔坐标系到极坐标系变换，极径总是非负的，所以从来没错过。