数据统计与机器学习
记录学习机器学习中一些问题,公式定义推导。
秋名鱼酱
Import motivation!!!
展开
-
KL(kullback-Leibler-devergence)散度(相对熵)非负性
KL(kullback-Leibler-devergence)散度(相对熵)非负性证明两个概率分布:P(X)和Q(X),两个分布之间的距离:根据jensen不等式,为了避免和各种凹凸性混淆,因为外国人眼里的凹凸性和我们常说的有点小差异,不过都是指的同一个东西。这里规定凹函数(concave)下凸函数为,凸函数(convex)为上凸函数。log函数为上凸函数,-log函数为下凸函数,则...原创 2018-12-04 23:00:09 · 6458 阅读 · 3 评论 -
样本均值的期望等于总体期望,样本方差的期望等于总体方差。
设,为总体的一个样本,且其样本均值为,样本方差为,总体方差为σ²,总体期望为μ。证明1:为什么样本均值的期望等于总体的期望?因为对于简单随机抽样的样本:与总体是同分布的,所以各样本的期望均为总体期望。证明2:为什么样本均值的方差等于?证明3:为什么样本方差的期望等于总体的方差?因为方差的性质可知:则:所以:又因为:故:...原创 2018-12-04 10:03:01 · 149346 阅读 · 26 评论