机器学习总结1 #博学谷IT学习技术支持#

目录

一、K近邻  KNN

二、线性回归

三、逻辑回归

四、决策树

---

 

一、K近邻  KNN

1 K近邻算法是一个分类算法。

       算法实现步骤，先选出一个k值，计算一个新的样本点，到，所有已知样本点的距离。找出其中最近的k个距离，用着k个最相邻的样本点，对新的样本点进行投票。票最多的那个标签就是这个新的样本点的标签。

      K值的选择，可以通过交叉验证法网格搜索。Grid SearchCV，

     分类评估方法，通过计算准确率来评估，accuracy_score

二、线性回归

    数据集的特征值和目标值之间建立了一个关系，这个关系可以理解为线性模型。线性回归中主要有两种模型，一种是线性关系，一种是非线性关系。

   损失函数，是 用来衡量机器学习模型性能的函数。一般使用平方损失。

     线性回归参数的求法，第一种通过正规方程，可以输出最优线性回归系数。第二种通过梯度下降法沿着梯度下降最快的方向，去找损失函数的最小值。相当于下山时，沿着下坡路最陡的地方走，可以快速达到最低点， 需要注意步长，也就是学习率。

     线性回归问题的评估有三种，平均绝对误差，均方误差，均方根误差。一般使用平均绝对误差和均方根误差。要注意在相同的条件下，比较他们。

三、逻辑回归

     逻辑回归是一种分类模型，只用于二分类。逻辑回归的输入函数是一个线性模型，通过激活函数通过一个预值来判断，大于阈值的就归为正类，小于阈值归为负类。

      逻辑回归的损失，是对数自然损失，我们希望，提升原本属于1类别的概率，降低原本是0类别的概率。使用梯度下降优化算法，减少损失函数的值，去更新逻辑回归前面对应算法权重参数。

如果数据中有缺失值，一定要对其进行处理。并且最好做标准化处理。

     逻辑回归的分类评估指标。混淆矩阵，精准率，召回率。f1_score，Roc曲线，auc指标。

四、决策树

     决策数，可以解决分类问题，多分类问题。也可以解决回归问题，落在叶子节点的数据的平均值作为回归的结果。

     构建决策中的三个步骤，一，特征选择，选择有交强分类能力的特征，以他为根节点，向下分裂。，二，决策树生成，三 决策树剪枝。