qq_21220235的博客

决策树是一种常见的机器学习方法，也称作“判定树”。决策树是根据树结构来进行决策的，决策过程中提出的每一个判定都是对某个属性的“测试”，每个测试的结果或是导出最终结论，或者导出进一步的判定问题，在测评那种数据划分方式是做好的数据划分的时候，有多种测量方法，其中有一种计算信息增益的方法，叫作香农熵。“信息熵”是用来度量两种概率分布的差异，假设当前样本的集合D中第k类样本所占的比例为pk（k=1,2，.

K近邻算法（简称KNN）学习是一种常用的监督学习方法，给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常在分类任务中可以使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可以使用“平均法”，即将这个k个样本的实值输出标记的平均值作为预测结果。from numpy import * import operato