- 前验概率和后验概率
前验概率:知道分布之后,估计概率值;后验概率:已知概率值(先验分布),反推原数据的分布情况,属于条件概率;
- 利用极大似然法进行机器学习
有监督学习---------->最大熵模型
无监督学习----------->GMM
- 信息 i(x)= -log(p(x))
概率P是对确定性的度量,信息是对不确定性的度量;
随着概率越来越大,信息越来越小;
独立事件的信息:
如果两个事件X和Y独立,即p(xy)=p(x)p(y) ,若假定X和y的信息量分别为i(x)和i(y),则二者同时发生的信息量应该为i(x^y)=i(x)+i(y)。
熵:信息的期望 。是对平均不确定的度量
信息论与机器学习的关系