【深度之眼】二：算法理论汇总

版权声明：本文为博主原创文章，未经博主允许不得转载。

---

---

一、分类

1 SGDClassifier

2 DecisionTree

3 朴素贝叶斯

4 逻辑回归

4.1 任务详解

• 逻辑回归（Logistic Regression）也是机器学习一个最基本也是最常用的算法模型。与线性回归不同的是：逻辑回归主要用于对样本进行分类。因此，逻辑回归的输出是离散值。对于二分类问题，通常我们令正类输出为 1，负类输出为 0。例如一个心脏病预测的问题：根据患者的年龄、血压、体重等信息，来预测患者是否会有心脏病，这就是典型的逻辑回归问题。重点是理解梯度上升算法。其实梯度上升与梯度下降原理是一样的，可以看作只是符号不同。

4.2 任务要求

• 尝试推导并解释逻辑回归的损失函数，推导参数 w 的 b 的梯度下降公式

4.3 知识概要

4.3.1 交叉熵

4.3.2 梯度下降法

5 支持向量机

5.1 基本原理

5.2 分类

5.2.1 线性支持向量机：LSVM

• https://mp.weixin.qq.com/s/Ahvp0IAdgK9OVHFXigBk_Q

5.2.2 对偶支持向量机：DSVM

• https://mp.weixin.qq.com/s/Q5bFR3vDDXPhtzXlVAE3Rg

5.2.3 软间隔支持向量机

5.2.4 非线性支持向量机与核函数

5.3 思考

• 为了防止 SVM 出现过拟合，应该对参数 C 进行如何设置？
  

5.4 SMO：序列最小优化算法

5.4.1 介绍

• SMO：Sequential Minimal Optimization

5.5 核函数

5.5.1 任务详解

• SVM 优化中一个特别好的地方就是，所有的运算都可以写成内积的形式。向量的内积指的是两个向量相乘，之后得到单个标量或者数值。我们可以把内积运算替换成核函数，而不必做简化处理。将内积替换成核函数的方式被称为核技巧。重点了解典型的核函数：线性核函数 和