问题背景:突然被各种差搞蒙了头,决定来好好理一理这各种差。
一、方差
方差这个词,我们从中学时代就接触了,应该很熟悉。
它是用来衡量离散程度。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是各个数据分别与其平均数之差的平方的和的平均数。
对于一组随机变量或者统计数据,其期望值我们由E(X)表示,即随机变量或统计数据的均值,然后对各个数据与均值的差的平方求和
再对它求期望值,
就得到方差啦~
二、标准差
方差的开平方。
为什么要弄标准差呢?因为直观呀。你想呀,方差是各个值与均值的差距的平方,从幂上来说,方差怎么说也是二次方上的东西了,要和原来的均值(一次方)上的东西比较,多不直观呀。就好像,三次元和二次元无法好好沟通一样(滑稽)。
另外,标准差又叫均方差。
三、均方误差
均方误差是各数据偏离真实值的距离平方和的平均数,也即误差平方和的平均数,计算公式形式上接近方差,它的开方叫均方根误差,均方根误差才和标准差形式上接近)。
那么,均方误差和方差最大的不同在哪?
在于,方差是离均值的距离,均方误差是离真实值的距离。
四、均方和误差
多个均方误差之和组成的总误差。
举个例子,前面说到的YOLO里的loss: