Techblog of HaoWANG

Table of Contents正态分布概要历史正态分布的定义概率密度函数累积分布函数生成函数性质动差或矩（moment）中心极限定理无限可分性稳定性标准偏差相关分布参量估计参数的极大似然估计计量误差参考文献正态分布正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian dist...

本来主要介绍机器学习、曲线拟合中常见的损失函数MSE的定义以及它的求导特性。数理统计中均方误差是指参数估计值与参数值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。SSE(和方差、误差平方和)：The sum of squares due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root...

马尔可夫链（英语：Markov chain），又称离散时间马可夫链（discrete-time Markov chain，缩写为DTMC[1]），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

1. 定义2. 判定正定矩阵3. 负定、半正定及不定矩阵

目录1. 定义2. 分解方法3. Matlab求解1. 定义2. 分解方法3. Matlab求解

1. 特征值与特征向量2. SVD奇异值分解2.1 SVD定义wiki：https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A32.2 SVD理解Ref：https://zhuanlan.zhihu.com/p/298460483. 计...

目录1. 分类2. LU分解2.1 定义2.2 存在性和唯一性2.3 实例2.4 应用1. 分类矩阵分解（decomposition,factorization）是多半将矩阵拆解为数个三角形矩阵（triangular matrix），依使用目的的不同，可分为几类。与线性方程解法相关的矩阵分解LU分解 奇异值分解 QR分解 极分解 特征分解2. L...

目录1.逆矩阵1.1 求法1：伴随矩阵1.2 求法2：初等变换1.3逆矩阵性质1.4 扩展：广义逆矩阵2. 稀疏矩阵2.1 定义2.2 计算方法更新日志：01. 20200301_inverse_matrix_and_sparse_matrix1.逆矩阵注意：非奇异矩阵与以下命题等价：1.1 求法1：伴随矩阵补充：代数余子式...

协方差通常，在提到协方差的时候，需要对其进一步区分。（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数。（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。随机变量的协方差在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为...

梯度下降法梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。目录1描述 1.1例子 1.2缺点 2...

凸优化凸函数最优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸最佳化在某种意义上说较一般情形的数学最佳化问题要简单，譬如在凸最佳化中局部最佳值必定是全局最佳值。凸函数的凸性使得凸分析中的有力工具在最佳化问题中得以应用，如次导数等。凸最佳化应用于很多学科领域，诸如自动控制系统，信号处理，通讯和网络，电子电路设计，数据分析和建模，统计学（最佳化...

Table of Contents期望期望的性质​方差协方差协方差的意义协方差和独立、不相关协方差的上界相关系数N维协方差阵矩统计参数的总结偏度切比雪夫不等式大数定理伯努利定理中心极限定理样本的统计量样本的矩矩估计极大似然估计期望期望的性质独立事件：P（AB）=P(A)xP(B)...

目录1. 数学符号2. 函数空间3. 集合的运算和公式1. 数学符号 集，集合 x是集合X的一个元素 x不是集合X的一个元素 ， 子集 并集 交集 直和 张量积，Kronecker积 dim X 维数 矩阵转置 共轭矩阵 的复共轭 算符的复...

方差1、定义方差在统计描述和概率分布中各有不同的定义，并有不同的公式。a. 在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式：为总体方差，为变量， 为总体均值， 为总体例数。...

二阶行列式--------对角线法则 : |█(a_11 a_12@a_21 a_22 )|= a_11 a_(22 )-a_12 a_21三阶行列式①对角线法则(消行列)(-1）n+1,n=1,2②按行（列）展开法则全排列：n个不同的元素排成一列。所有排列的种数用P_n 表示， P_n = n！逆序数：对于排列p_1 p_2… p_n，如果排在元素p_i前面，且比...

Table of ContentsPart 11. 夹逼定理2. 极限2.1 极限存在定理3. 泰勒公式、泰勒级数4. 方向导数5.梯度6. 凸函数判定定理：凸函数的应用Part 2 概率论与数理统计1. 概率2. 概率分布0-1 分布二项分布泊松分布均匀分布指数分布正态分布总结补充：指数族Logisti...