NLP翟

原创 信息熵、条件熵、信息增益、信息增益率、基尼指数简述

在机器学习、信息论与统计学中信息熵、条件熵、信息增益、信息增益率（比）、基尼系数这五个概念相当基础也非常重要。 today，博主也捋一捋这基本的概念，由于个人水平所限，还请各位看官多多指教！ 信息熵 概念：用来表示随机变量不确定性程度的量，设X是一个取值范围有限的离散随机变量，其概率分布可以表示为：                                              ...