逻辑回归与最大墒
逻辑回归
logistic分布
logistic回归模型
逻辑回归中输出是输出的线性函数
多项logistic回归
最大墒模型
最大墒模型的最优化函数
拉格朗日转化
最大化过程的等价于最大熵模型的极大似然估计
最优化算法
*最优化算法待理解*
SVM
距离
当||W|| = 1 时,函数间隔等于几何间隔
间隔最大化
约束最优化问题
支持向量
对偶问题
线性可分支持向量机
软间隔
核技巧
- 原空间数据线性不可分,转换到新空间实现线性可分
- 支持向量机中目标函数和决策函数都只涉及输入实例与实例之间的内积,可以将内积用核函数替代
SMO算法
提升方法
AdaBoost
提升树