PIPIXIU的博客

原创 决策树中的熵、条件熵、信息增益和Gini指数计算示例

文章目录信息熵条件熵信息增益公式计算Gini指数计算示例信息首先我们从什么是信息来着手分析：I(X=xi)=−log2p(xi)I_{(X = x_i)} = -log_2p(x_i)I(X=xi​)​=−log2​p(xi​)I(x)I(x)I(x)用来表示随机变量的信息，p(xi)p(x_i)p(xi​)指是当xixixi发生时的概率。熵在信息论和概率论中熵是对随机变量不确定性的度...