范数、损失函数、标准差

---

一、范数

向量范数

2-范数:

Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。

其他范数

其他向量范数及矩阵范数–魏通

二、损失函数

吴恩达老师Machine Learning课程中的线性回归损失函数定义如下：

均方误差

均方误差（英语：mean-square error、MSE）是对于无法观察的参数theta 的一个估计函数T；
其定义为：

即，它是“误差”的平方的期望值。误差就是估计值与被估计量的差。

三、标准差

标准差（又称标准偏差、均方差，英语：Standard Deviation，缩写SD），数学符号σ（sigma）

1、总体的标准差

，

总体为随机变量

一随机变量X的标准差定义为：

根号里面，亦即方差的简易口诀为：“平方和的平均（期望）”减去“平均（期望）的平方”。

2、样本的标准差

在真实世界中，找到一个总体的真实的标准差并不实际。大多数情况下，总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。

从一大组数值X1、X2…Xn当中取出一样本数值组合x1、x2…xn且n < N，常定义其样本标准差：

样本方差s是对总体方差sigma的无偏估计。之所以s中的分母要用n-1而不是像总体样本差那样用n，是因为的自由度为n-1，这是由于存在约束条件。

维基百科-标准差