版权声明:本文为博主原创文章,未经博主允许不得转载。
一、分类
1 SGDClassifier
2 DecisionTree
3 朴素贝叶斯
4 逻辑回归
4.1 任务详解
- 逻辑回归(Logistic Regression)也是机器学习一个最基本也是最常用的算法模型。与线性回归不同的是:逻辑回归主要用于对样本进行分类。因此,逻辑回归的输出是离散值。对于二分类问题,通常我们令正类输出为 1,负类输出为 0。例如一个心脏病预测的问题:根据患者的年龄、血压、体重等信息,来预测患者是否会有心脏病,这就是典型的逻辑回归问题。重点是理解梯度上升算法。其实梯度上升与梯度下降原理是一样的,可以看作只是符号不同。
4.2 任务要求
- 尝试推导并解释逻辑回归的损失函数,推导参数 w 的 b 的梯度下降公式
4.3 知识概要
4.3.1 交叉熵
4.3.2 梯度下降法
5 支持向量机
5.1 基本原理
5.2 分类
5.2.1 线性支持向量机:LSVM
5.2.2 对偶支持向量机:DSVM
5.2.3 软间隔支持向量机
5.2.4 非线性支持向量机与核函数
5.3 思考
- 为了防止 SVM 出现过拟合,应该对参数 C 进行如何设置?
5.4 SMO:序列最小优化算法
5.4.1 介绍
- SMO:Sequential Minimal Optimization
5.5 核函数
5.5.1 任务详解
- SVM 优化中一个特别好的地方就是,所有的运算都可以写成内积的形式。向量的内积指的是两个向量相乘,之后得到单个标量或者数值。我们可以把内积运算替换成核函数,而不必做简化处理。将内积替换成核函数的方式被称为核技巧。重点了解典型的核函数:线性核函数 和