达观杯文本处理（四）--LR,SVM

1、LR逻辑回归梳理

      首先需要区别两个容易逻辑回归模型易混淆的概念：线性回归与逻辑回归：

两者都是通过最小化预测值与实际结果值之间的误差，而得到输入特征之间的最佳组合方式的一类算法。

对于连续值预测，方法是线性回归；而对于离散值或类别预测，方法是逻辑回归。

从线性回归到逻辑回归梳理如下：

1.1线性回归

1.1.1线性回归问题

　线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。中学就有接触线性回归，那么线性回归应用在什么地方呢？它适用于有监督学习的预测。 
　　一元线性回归分析：，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示。 
　　多元线性回归分析：，包括两个或两个以上的自变量，并且因变量和自变量是线性关系。 

1.1.2损失函数

损失函数：是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。更通俗地说，损失函数用来衡量参数选择的准确性。损失函数定义为： 

                        

这个公式计算的是线性回归分析的值与实际值的距离的平均值。显然，损失函数得到的值越小，损失也就越小。

1.1.3梯度下降

怎样最小化损失函数?损失函数的定义是一个凸函数，就可以使用凸优化的一些方法： 
（1）梯度下降：逐步最小化损失函数的过程。如同下山的过程，找准下山方向（梯度），每次迈进一步，直至山底。如果有多个特征，对应多个参数θ，需要对每一个参数做一次迭代，做完以后再求J函数。 
学习率：上段公式中的αα就是学习率。它决定了下降的节奏快慢，就像一个人下山时候步伐的快慢。α过小会导致收敛很慢，αα太大有可能会导致震荡。如何选择学习率呢，目前也有好多关于学习率自适应算法的研究。工程上，一般会调用一些开源包，包含有一些自适应方法。自己做的话会选择相对较小的αα，比如0.01。下图展示了梯度下降的过程：

                                                        

（2）牛顿法：速度快，适用于小数据，大数据会太消耗内存

1.1.4过拟合与正则化

　回归与欠/过拟合： 
１) 欠拟合：函数假设太简单导致无法覆盖足够的原始数据，可能造成数据预测的不准确。 
２) 拟合问题：比如我们有很多的特征，假设的函数曲线对原始数据拟合的非常好，从而丧失一般性，导致对新给的待预测样本，预测效果差。下图就是一个例子，一个复杂的曲线，把所有点都拟合进去了，但是泛化能力变差了，没有得到一个规律性的函数，不能有效的预测新样本。 

                                               

　　过拟合解决方法： 
1) 减少特征个数：手工选择保留特征、模型选择的算法选择特征。 
2) 正则化：在原来的损失函数中加入θθ的平方项，来防止波动太大。 

                                   

即L2正则化。留下所有的特征，但是减少参数的大小。
1.2逻辑回归（特征回归）

1.2.1应用分析

与线性回归不同，逻辑回归主要用于解决分类问题，那么线性回归能不能做同样的事情呢？下面举一个例子。比如恶性肿瘤和良性肿瘤的判定。假设我们通过拟合数据得到线性回归方程和一个阈值，用阈值判定是良性还是恶性： 

　如图，size小于某值就是良性，否则恶性。但是“噪声”对线性方程的影响特别大，会大大降低分类准确性。例如再加三个样本就可以使方程变成这样： 

那么，逻辑斯特回归是怎么做的呢？如果不能找到一个绝对的数值判定肿瘤的性质，就用概率的方法，预测出一个概率，比如>0.5判定为恶性的。

1.2.2 Sigmoid函数

　　逻辑回归首先把样本映射到[0,1]之间的数值，这就归功于sigmoid函数，可以把任何连续的值映射到[0,1]之间，数越大越趋向于0，越小越趋近于1。Sigmoid函数公式如下： 

                                                                    

　函数的图像如下图，x=0的时候y对应中心点。

                                                         

 

　判定边界：对多元线性回归方程求Sigmoid函数 ，找到一组θθ，假设得到−3+x1+x2=0−3+x1+x2=0的直线，把样本分成两类。把(1,1)代入g函数，概率值<0.5，就判定为负样本。这条直线就是判定边界，如下图： 

                                                       

除了线性判定边界，还有较复杂的非线性判定边界。

1.2.3逻辑回归的损失函数

线性回归的损失函数对逻辑回归不可用，因为逻辑回归的值是0或者1，求距离平均值会是一条不断弯曲的曲线，不是理想的凸函数。聪明的数学家找到了一个适合逻辑回归的损失定义方法： 

                                               

其中hθ(x)hθ(x)是一个概率值，y=1表示正样本，y=0表示负样本。当y是正样本时，如果给定的概率特别小（预测为负样本），损失就会很大；给定的概率很大（预测为正样本），损失就会接近0。损失值的函数如图： 

                                            

带L2正则项的损失函数： 

                    

这个函数依然可以用梯度下降求解。

1.2.4LR优点及应用场景分析

LR的优点： 
1) LR是以概率的形式输出结果，不只是0和1的判定； 
2) LR的可解释强，可控性高； 
3) 训练快，feature engineering之后效果赞； 
4) 因为结果是概率，可以做ranking model； 
5) 添加feature简单。 
　　LR的应用场景很多哈： 
1) CTR预估、推荐系统的learning to rank； 
2) 一些电商搜索排序基线； 
3) 一些电商的购物搭配推荐； 
4) 新闻app排序基线。
 

2、支持向量机SVM模型、理论学习和实践

支持向量机通俗导论（理解SVM的三层境界）https://blog.csdn.net/v_JULY_v/article/details/7624837

3、代码实现：

参考链接：

1）https://github.com/Heitao5200/DGB/blob/master/model/model_code/LR_data_w_tfidf.py

2）https://github.com/Heitao5200/DGB/blob/master/model/model_code/SVM_data_w_tfidf.py

 

本文参考链接及学习资料
原文：https://blog.csdn.net/JoyceWYJ/article/details/51596797 
版权声明：本文为博主原创文章，转载请附上博文链接！

 

2、支持向量机SVM模型、理论学习和实践

2.1SVM模型