机器学习实践 学习总结

1、KNN （K近邻）VS 决策树 分类算法

k近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内在含义。它是通过计算点位间的距离来决定相似度的，其执行效率不高，存储空间和计算时间比较长。

决策树的主要优势就在于数据形式非常容易理解。相似例子：二十个问题游戏，参与者在脑海里想出一种事物，其他参与者向他提问，只允许体20个问题，问题的答案也只能回答是或者否。问问题的人通过推断分解，逐步缩小待猜测事物的范围。

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点：可能会产生过度拟合问题

适用数据类型：数值型和标称型。