机器学习整理的一些概念

什么是监管学习：
所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，
那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

什么是熵(entropy)
是信息不确定性的一个测度，熵越大则表示信息的不确定程度越高
举个例子：
预测明天的天气，如果能100%确定明天一定是晴天，那么熵就是-1*log1
预测明天的天气，如果能100%确定明天一定是晴天，那么熵就是-1*log1=0,也就是说不确定性为零。
预测明天的天气，如果说明天有50%概率晴天，50%概率下雨，那么熵就是2*(-0.5)log0.5=2*(-0.5)(-1)=1,可以说不确定性为1。
预测明天的天气，如果明天有25%概率晴天，25%概率下雨， 25%概率阴天， 25%概率下雪，那么熵就是4*(-0.25)(log0.25)=2， 
也就是说随着不确定程度的增加，熵也在不断地增大

什么是方差
设有,1、2、3,三个数,平均数为2,方差为,
[(1-2)^2 (2-2)^2 (3-2)^2]/3 = 2/3

什么是均方差
均方差也叫标准差,就是方差开根号
也就是说：均方差的平方＝方差

什么是期望
期望是基于概率基础的，是对未知的预期
期望就是在多次实验之后，你预期的结果。而不是你下一次，或者某次实验的结果。