感知机模型:
只能处理非常特殊的问题(线性可分的数据集的分类问题)
没有考虑泛化能力
线性可分概念:
数据集能被一条线完美分割
损失函数的几何解释:
损失函数 = 所有被误分类的样本点到当前分离平面的相对距离的总和
感知机算法:
梯度下降法
学习速率/步长:损失函数求导后沿着梯度下降的方向,每次迭代迈进的步长
三种梯度下降法(最速下降法):
随机梯度下降法(SGD):每个迭代中只使用一个样本来进行参数更新
小批量梯度下降法(MBGD、):每个迭代中同时选用多个样本更新参数
批量梯度下降法(BGD):每个迭代中同时选用所有样本更新参数
梯度下降法:
求解无约束最优化问题的最常用的手段之一,实现过程简单高效。
核心:求导,求函数的梯度。
梯度下降算法:
后期补上
感知机算法的对偶形式:
拉格朗日对偶性:
后期补上
支持向量机(Support Vector Machine):
函数间隔:后期补上
几何间隔:描述向量到超平面的几何距离
SVM算法:最大化几何间隔
线性SVM算法:
引入间隔最大化的概念增强模型的泛化能力。
SVM算法的对偶形式:后期补上
SVM的训练:后期补上
最小最优化算法(SMO):
每次迭代中专注于只有两个变量的优化问题,以期望在可以接受的时间内得到一个较优解
非线性算法:
利用核技巧能使将线性算法升级为非线性算法
核方法:注重原理
核技巧:注重实际应用
核技巧:合理性、普适性、高效性
将一个低维的线性不可分的数据映射到一个高维的空间,并期望映射后的数据在高维空间里是线性可分的
核感知机算法:
后期补上
核SMO算法:
后期补上
核SVM:
后期补上
支持向量回归:
后期补上