十十办文武的博客

决策树(Decision Trees)是一种基于树结构的机器学习算法，它是近年来最常见的数据挖掘算法，可以用于分类和回归问题。它可以作为预测模型，从样本的观测数据推断出该样本的预测结果。按预测结果的差异，决策树学习可细分两类。分类树，其预测结果仅限于一组离散数值。树的每个分支对应一组由逻辑与连接的分类特征，而该分支上的叶节点对应由上述特征可以预测出的分类标签。回归树，其预测结果为连续值。决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

​KNN(K-Nearest Neighbor)算法是一种最简单，也是一个很实用的机器学习的算法，在《机器学习实战》这本书中属于第一个介绍的算法。它属于基于实例的有监督学习算法，本身不需要进行训练，不会得到一个概括数据特征的模型，只需要选择合适的参数 K 就可以进行应用。KNN的目标是在训练数据中发现最佳的 K 个近邻，并根据这些近邻的标签来预测新数据的标签。每次使用 KNN 进行预测时，所有的训练数据都会参与计算。分类问题，同时天然可以处理多分类问题，比如根据音乐的特征，将其归类到不同的类型。