yritssh的博客

接着上篇文章（https://blog.csdn.net/yritssh/article/details/104365016），继续分析逻辑回归。

本文将从KL距离（相对熵）、交叉熵和一些公式推导来阐述逻辑回归这个传统的机器学习方法，重理论轻代码。1.KL距离 KL距离又称作相对熵，通常是用来衡量两分布之间的相似度。公式如下： 其中P,Q是两分布。很显然，KL...

在做机器学习的时候，当模型训练好之后，我们该如何去评价这个模型的好坏呢？我们首先想到的会是使用正确率来评价模型的好坏。首先来看下正确率公式： 正确率 = 预测正确的样本数 / 总的样本数那么如果用正确率来衡量一个模型的好坏的话，它会存在什么问题呢？假如我们有100...

     决策树时一种常用的数据挖掘算法，其优势在于数据形式非常容易理解，缺点在于很可能产生过度匹配的问题（即过拟合问题，如何解决过拟合问题待续.......）。决策树的一个重要任务就是为了理解数据中所蕴含的数据信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列的规则，这些机器根据数据集创建规则的过程，就是机器学习的过程。决策树给出的结果往往可以匹敌在当前领域具有几十年工作经验的人类专家...