yin_hei的博客

决策树的实现原理以及实现代码和详细注释

k-近邻算法是分类数据最简单有效的算法基本原理：k近邻的意思就是在已知样本集合中找到与要测试的点的最近的k个点，选择k个点中出现次数最多的分类作为该点的类别标签。通常k是不大于20的整数，太大了需要很大的计算量。距离的计算：距离的计算方法可以自定义，这里常用的欧氏距离作为计算的方式 A，B两间时间的距离为x=(a0−b0)2+(a1−b1)2−−−−−−−−−−−−−−−−−−√ x =\sqrt

主要描述里ID3和C4.5的区别和改进，C4.5的优缺点，以及信息增益与信息增益比的计算方法区别ID3使用信息增益作为特征选择的度量 C4.5使用信息增益比作为特征选择的度量信息增益 g(D,A)=H(D)−H(D|A)g(D,A)=H(D)-H(D|A) H(D)H(D)是数据集D的熵，计算公式H(D)=−∑Kk=1|Ck|Nlog|Ck|NH(D)=-\sum_{k=1}^K\frac{|

logistic回归是线性回归算法的一种。利用sigmoid函数进行分类。本文介绍了算法的基本思想优化，以及代码实现和详细注释