大数据下的逻辑回归训练模型方法论

转自http://www.36dsj.com/archives/6343

      在数据膨胀的当今社会里，海量数据中蕴含价值日渐凸显出来。如何有效的挖掘海量数据中的有效信息已经成为各个领域面临的共同问题。以互联网企业为代表的科技公司依据自身的实际需求，开始大量的应用机器学习、数据挖掘以及人工智能等算法获取海量数据中蕴含的信息，并且已经取得了很好的效果。

当今社会已经从过去的信息匮乏，转变为信息泛滥的时代。由于网络以及相关应用的不断普及，网络数据逐渐呈现着”海量，高维”的趋势，如何利用已有的机器学习或者数据挖掘的算法，获取有效信息，已经成为学术界以及工业所共同关注的重点。国内大数据技术服务商百分点公司已将机器学习的相关技术应用到大数据分析中，在百分点合作的某一团购网站，我们选取了10个基于商品和用户的特征属性，结合机器学习中的分类算法，构建了一个基于用户推荐的分类器。在实际应用过程中，该团购网站点击率平均提升19%，下单率提升42%，直接下单率提升了近一倍，从而达到了提高推荐效果的目的。

在本篇文章中将以机器学习的经典算法逻辑回归模型作为预测模型，结合目前百分点为团购网站开发的分类模型作为具体实例，具体讲解一下如何在”海量、高维”数据中有效的训练模型。

什么是逻辑回归模型？

机器学习算法中的逻辑回归模型(Logic Regression, LR)，以下简称为LR模型，是一个被广泛应用在实际场景中的算法。在本篇文章主要考虑的对象是基于二元分类逻辑回归预测模型，即分类器识别的类标号为。假设训练集数据为，其中，，可以将训练集看成是一个的矩阵，由于在本篇文章中主要针对的是高维的海量数据，但由于哑元变量的存在，数据中存在着大量的0/1值，因此可以将训练集的整体看成是一个高维的稀疏矩阵。

在介绍如何训练模型之前，首先简单的介绍一下逻辑回归模型。逻辑回归模型是一种基于判别式的方法，它假定类的实例是线性可分的，通过直接估计判别式的参数，获得最终的预测模型。逻辑回归模型并不是对类条件密度建模，而是对类条件比率进行建模。假定类条件对数似然比是线性的：

使用贝叶斯公式，我们有：