从数学上看，分布函数F(x)=P(X<x)，表示随机变量X的值小于x的概率。这个意义很容易理解。概率密度f(x)是F(x)在x处的关于x的一阶导数，即变化率。如果在某一x附近取非常小的一个邻域Δx，那么，随机变量X落在(x, x+Δx)内的概率约为f(x)Δx，即P(x<X<x+Δx)≈f(x)Δx。换句话说，概率密度f(x)是X落在x处“单位宽度”内的概率。“密度”一词可以由此理解。

协方差的意义和计算公式学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：标准差：方差：很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为

/** * 批量梯度下降 */public class BatchGradient { public void batchGradientDescent() { double inputDataMatrix[][] = { { 1, 4 }, { 2, 5 }, { 5, 1 }, { 4, 2 } }; // X输入 double expectResult[] = { 19, 2

数字信号处理中对多种模型作选择的判别方法。AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的，因此又称赤池信息量准则。它建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。在一般的情况下，AIC可以表示为： AIC=2k-2ln(L)其中：k是参数的数量

什么是相关系数　　相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。　　著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。　　依据相关现象

编程实现：#include using namespace std;#define f(x1,x2,x3) (-x1*x1-2*x2*x2-3*x3*x3+2*x1*x2+2*x1*x3-4*x2*x3+6)int main(){ double x1=1; double x2=1; double x3=1; double f0=f(x1,x2,x3); double er

所谓向量的范数可以简单的理解为向量的长度，或者说向量到零点的距离。向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c|  ||x|| ， 三角不等式||x+y|| 常用的向量的范数：L1范数:  ||x|| 为x向量各个元素绝对值之和L2范数:  ||x||为x向量各个元素平方和的1/2次方，L2范数又称Euclid

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。拉格朗日乘子法转换为系数λi称为拉格朗

refer to:http://blog.csdn.net/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是

第七讲  方向导数与梯度教学目的 使学生理解方向导数与梯度的概念，掌握方向导数与梯度的计算．教学重点 计算方向导数与梯度教学难点 梯度与方向导数关系教学时数 2学时教学过程 一、方向导数1．概念　设是平面上以为始点的一条射线．是与同方向的单位向量射线的参数方程为   设函数在点的某个邻域内有定义，为上另一点，且,到的距离       若 当沿着趋于即

在学习最大熵模型和SVM的过程中，我们看到，前者需要求解满足所有已知条件并且使得熵最大的模型，后者需要求解满足间隔一致性约束条件并且使得几何间隔最大的超平面，归结起来其求解问题都是带约束的极值问题，其解决方法一般采用拉格朗日对偶原理，对于概率性问题也可以用极大似然法来求解。下面简单介绍拉格朗日对偶原理和似然函数。拉格朗日对偶原理：约束条件可以分成不等式约束条件和等式约束条件，只有等

下面用R语言的lpSolve扩展包来解决一个简单的线性规划问题target: max C = 5*x1 + 8*x2subject to:x1 + x2 x1 + 2*x2 = 3x1,x2 >=0install.packages("lpSolve")library(lpSolve)eg.lp

矩阵的逆：逆矩阵： 设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E。 则我们称B是A的逆矩阵，而A则被称为可逆矩阵。A是可逆矩阵的充分必要条件是∣A∣≠0，即可逆矩阵就是非奇异矩阵。（当∣A∣=0时，A称为奇异矩阵）奇异矩阵：奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。首先，看这个矩阵是不是方阵（即行数和列数相

§4.1  特征值与特征向量§4.1.1特征值与特征向量的概念及其计算定义1.  设A是数域P上的一个n阶矩阵，l是一个未知量，     称为A的特征多项式，记 ¦(l)=| lE-A|，是一个P上的关于 l的n次多项式，E是单位矩阵。¦(l)=| lE-A|=ln+a1ln-1+…+an= 0是一个n次代数方程，称为A的特征方程。 特征方程 ¦(l)=| lE-A|=0的

1非奇异矩阵的定义若n阶矩阵A的行列式不为零，即 |A|≠0，则称A为非奇异矩阵，否则称A为奇异矩阵。2概念、性质及判定方法n 阶方阵 A 是非奇异方阵的充要条件是 A 为可逆矩阵，也即A的行列式不为零。 即矩阵（方阵）A可逆与矩阵A非奇异是等价的概念。对一个 n 行 n 列的非零矩阵A，如果存在一个矩阵 B 使 AB = BA =E（ E是单位矩阵），则称

作者：Calvin Zhang链接：https://www.zhihu.com/question/22983179/answer/67748062来源：知乎著作权归作者所有，转载请联系作者获得授权。在我们讲无偏估计（unbiased estimator）之前我想先说一个概念，那就是样本统计（Sample Statistics）。生活中我们需要知道一些数据的时候，常常要统