njhniubi的博客

Cart模型是一种决策树模型，它即可以用于分类，也可以用于回归，其学习算法分为下面两步：（1）决策树生成：用训练数据生成决策树，生成树尽可能大（2）决策树剪枝：基于损失函数最小化的剪枝，用验证数据对生成的数据进行剪枝。分类和回归树模型采用不同的最优化策略。Cart回归树使用平方误差最小化策略，Cart分类生成树采用的基尼指数最小化策略。Scikit-learn中有两类决策树，他们均采用优化的Cart决策树算法。

有的同学可能在大学学习过一门课程叫《数据结构》，里面有一个重要的结构就是“树”，和现实生活中的树一样，树的主要由四部分树根树干树枝树叶组成，今天的决策树也是一种树结构，大家学习的时候可以想象现实生活中的树来来理解。决策树算法是一种监督学习算法，英文是Decision tree。决策树思想的来源非常朴素，试想每个人的大脑都有类似于if-else这样的逻辑判断，这其中的if表示的是条件，if之后的then就是一种选择或决策。

'''y_true：真实目标值y_pred：估计器预测目标值labels:指定类别对应的数字target_names：目标类别名称return：每个类别精确率与召回率'''

逻辑回归可以用于解决常见的分类问题，也是解决分类中常用的一种算法。在本章我们主要学习逻辑回归的应用场景了解逻辑回归的原理，掌握逻辑回归的损失函数和优化方案，最后，在介绍完分类评估指标后，我们应用逻辑回归模型实现案例。

首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数值变化最快的方向。所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程✏️这里介绍四种梯度下降算法，不做其他要求，了解即可。

初步了解线性回归

K近邻中最主要的问题--K值的选择，分类模型贯穿整个机器学习

学习KNN算法之前我们需要了解的概念

一个只能优化的问题

机器学习的相关定义及概念