达观杯”文本智能处理挑战赛——(四）LR+SVM

一、LR和SVM原理

1.逻辑回归(Logistic Regression)
逻辑回归是一个非线性模型（sigmoid函数，又称逻辑回归函数），但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。
只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
逻辑斯蒂回归的定义：

负对数函数作为损失函数：


求梯度：

最后再使用梯度下降法求解参数

注：多分类逻辑斯蒂回归模型 TODO: 如 Softmax

2.支持向量机（SVM）

支持向量机简述

• 支持向量机（Support Vector Machines, SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使其成为实质上的非线性分类器。
• SVM 的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。
• SVM 的最优化算法是求解凸二次规划的最优化算法。

SVM 标准问题的推导

最大化几何间隔

函数间隔γ的取值不会影响最终的超平面(w,b)：取γ=1；又最大化 1/||w||
等价于最小化1/2*||w||^2，于是有

为什么令γ^=1？比例改变(ω,b)，超平面不会改变，但函数间隔γ^会成比例改变，因此可以通过等比例改变(ω,b)使函数间隔γ^=1

构建拉格朗日函数

标准问题是求极小极大问题

其对偶问题为

一、LR和SVM实战