一、ID3算法(按照信息增益最大为原则)
理解熵、条件熵:
首先有定义是某事件发生的概率小,则该事件的信息量大。
熵定义:如果一件事有k种可的结果,每种结果的概率为
pi , i=1,2,…,k
信息熵的公式为:
联系之前的定义某事件发生的概率小,则该事件的信息量大。
也就是说信息量是描述变量的不确定性的,值越大表示该事件越不确定(也就是概率小嘛),因此,引入其他变量使得这种不确定性降低(也就是条件熵)
条件熵表示在条件X下Y的信息熵,公式为:
信息增益:
信息增益=信息熵-条件熵
算法流程理解: