HYY的博客

CatBoost 是由俄罗斯搜索巨头 Yandex 于 2017 年开源的机器学习库，其名称来源于 “Category” 和 “Boosting” 的组合，旨在高效处理类别特征的梯度提升算法。支持类别特征：无需对类别特征进行独热编码，直接处理类别数据，避免数据膨胀。对缺失值的鲁棒性：无需特殊预处理即可直接处理缺失值。防止过拟合：内置多种正则化手段，减少梯度偏差和预测偏移，提高模型的准确性和泛化能力。对称树结构。

决策树（Decision Tree）用于分类和回归任务。它通过构建树状模型来进行决策。决策树算法的基本思想是基于数据特征进行递归分裂。每个内部节点代表一个特征上的测试，每个分支代表测试的结果，而每个叶节点代表一个类别（在分类树中）或一个具体的数值（在回归树中）。决策树算法的优点包括：模型易于理解和解释，不需要对数据进行太多预处理，可以处理数值型和类别型数据。不过，决策树也有限制，比如容易过拟合，尤其是当树变得很复杂时。为了解决这个问题，通常需要剪枝或者通过集成方法（如随机森林）来提高模型的泛化能力。

KNN算法（K-Nearest Neighbors）是一种基于实例的学习算法，它通过度量样本之间的相似性来进行分类或回归。KNN算法的基本思想很简单：对于一个未知样本，它的类别或输出值可以通过与训练集中最近邻居的比较来确定。这里的"最近邻"是指距离新样本最近的K个训练集样本。KNN算法的优点是简单易懂，不需要进行显式的训练过程，而且在处理非线性问题或数据较为复杂的情况下表现良好。然而，KNN算法也有一些限制。例如，它在处理大规模数据时可能会变得较慢，因为需要计算新样本与所有训练样本之间的距离。