一、范数
向量范数
2-范数:
Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。
其他范数
二、损失函数
吴恩达老师Machine Learning课程中的线性回归损失函数定义如下:
均方误差
均方误差(英语:mean-square error、MSE)是对于无法观察的参数theta 的一个估计函数T;
其定义为:
即,它是“误差”的平方的期望值。误差就是估计值与被估计量的差。
三、标准差
标准差(又称标准偏差、均方差,英语:Standard Deviation,缩写SD),数学符号σ(sigma)
1、总体的标准差
,
总体为随机变量
一随机变量X的标准差定义为:
根号里面,亦即方差的简易口诀为:“平方和的平均(期望)”减去“平均(期望)的平方”。
2、样本的标准差
在真实世界中,找到一个总体的真实的标准差并不实际。大多数情况下,总体标准差是通过随机抽取一定量的样本并计算样本标准差估计的。
从一大组数值X1、X2…Xn当中取出一样本数值组合x1、x2…xn且n < N,常定义其样本标准差:
样本方差s是对总体方差sigma的无偏估计。之所以s中的分母要用n-1而不是像总体样本差那样用n,是因为的自由度为n-1,这是由于存在约束条件。