决策树——信息熵的学习笔记

1 致谢

感谢陈助教的讲解！
陈助教好厉害呀！

2 前言

今天在学习Kaggle数据比赛的相关知识，钟老师第一节课在讲LightGBM，涉及到决策树的相关知识但是我不太了解决策树这些相关的知识，所以需要重新复习一下～

3 信息熵的学习笔记

信息熵其实可以看作事件发生的概率与信息量之间的博弈，
事件的概率越低，表示发生的可能性越小，是一个关于概率的增函数，$y=P(x)$；
而信息量（自信息）是一个关于概率的减函数，因为概率越小，意味着这件事“越秘密，越不为人所知”，所以它的信息量越大，即$y=-log(P(x))$；
这里我们引用赵老师的讲解比较容易理解：
熵 --> 不确定性 --> 信息量
我觉得这个“不确定性”挺好理解的；