机器学习之决策树（ID3 C4.5 CART）

优缺点和适用范围：

优点：

• 高精确性
• 对异常值不敏感

缺点：

• 内存消耗大
• 计算费时

适用的情况：

• 数值型数据和非数值型数据都可使用

原理

dating_data_mat = array([[1.0, 1.0], [1.1, 1.2], [1.2, 1.1], [1.3, 0.9], [0.1, 0.2], [0.1, 0.1], [0.0, 0.1], [0.1, 0.3]])
dating_labels = [1, 1, 1, 1, 2, 2, 2, 2]
fig = plt.figure()  # create a new figure
ax = fig.add_subplot(111)  # 349 代表将整个画布分成3行4列，只使用第9块，111 相当于使用整个画布
# 第0列作为x轴，第1列作为y轴, 根据标签换颜色 15 代表点的大小，1 就非常小
ax.scatter(dating_data_mat[:, 0], dating_data_mat[:, 1], 15*array(dating_labels), 15*array(dating_labels))
plt.show()  # 画

得到图：

这种情况下如果想要新来一个点 (0.3, 0.1) 究竟应该属于哪一个区？？
KNN的想法就是，