AI学习第四天

香农：
- 信息论的创立者

1，信息量的大小
- 小概率事件发生了，信息量很大！
- 大概率事件发生了，消息量很小！

2，信息熵 entropy：
- 熵是一个系统的混乱程度
- 熵越大，系统越混乱的
- 熵越小，系统越有序的

4，基尼系数 gini：
- [p1, p2, p3]
- -(p1 * log2(p1) + p2 * log2(p2) + p3 * log2(p3))
- -p1 * log2(p1) - p2 * log2(p2) - p3 * log2(p3)
- -p1 * log2(p1) - p2 * log2(p2) - p3 * log2(p3)
- p1 * log2(1/p1) + p2 * log2(1/p2) + p3 * log2(1/p3)
~ p1 * (1 - p1) + p2 * (1 - p2) + p3 * (1 - p2)

	~ 基尼系数

3，能力层级：
- 看得懂公式
- 能够用科学计算的方法写出这个公式的代码
- 跟编程语言没什么大的关系