Spark MLlib Logistic Regression逻辑回归算法

1.1 逻辑回归算法

1.1.1 基础理论

logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。

它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这个范围还有个很好的好处，就是可以消除特别冒尖的变量的影响。

Logistic函数（或称为Sigmoid函数），函数形式为：

Sigmoid 函数在有个很漂亮的“S”形，如下图所示：

给定n个特征x=(x1,x2,…,xn)，设条件概率P(y=1|x)为观测样本y相对于事件因素x发生的概率，用sigmoid函数表示为：

那么在x条件下y不发生的概率为：

假设现在有m个相互独立的观测事件y=(y1,y2,…,ym)，则一个事件yi发生的概率为(yi= 1)

当y=1的时候，后面那一项是不是没有了，那就只剩下x属于1类的概率，当y=0的时候，第一项是不是没有了，那就只剩下后面那个x属于0的概率（1减去x属于1的概率）。所以不管y是0还是1，上面得到的数，都是(x, y)出现的概率。那我们的整个样本集，也就是n个独立的样本出现的似然函数为（因为每个样本都是独立的，所以n个样本出现的概率就是他们各自出现的概率相乘）：

然后我们的目标是求出使这一似然函数的值最大的参数估计，最大似然估计就是求出参数，使得

取得最大值，对函数取对数得到

这时候，用L(θ)对θ求导，得到：

1.1.2 梯度下降算法

θ更新过程： 

θ更新过程可以写成：

 

向量化Vectorization

Vectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。

如上式，Σ(...)是一个求和的过程，显然需要一个for语句循环m次，所以根本没有完全的实现vectorization。

下面介绍向量化的过程：

约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：

g(A)的参数A为一列向量，所以实现g函数时要支持列向量作为参数，并返回列向量。由上式可知可由一次计算求得。

θ更新过程可以改为：

综上所述，Vectorization后θ更新的步骤如下：

（1）求；

（2）求；

（3）求 。

1.1.3 正则化

在实际应该过程中，为了增强模型的泛化能力，防止我们训练的模型过拟合，特别是对于大量的稀疏特征，模型复杂度比较高，需要进行降维，我们需要保证在训练误差最小化的基础上，通过加上正则化项减小模型复杂度。在逻辑回归中，有L1、L2进行正则化。

损失函数如下：

在损失函数里加入一个正则化项，正则化项就是权重的L1或者L2范数乘以一个，用来控制损失函数和正则化项的比重，直观的理解，首先防止过拟合的目的就是防止最后训练出来的模型过分的依赖某一个特征，当最小化损失函数的时候，某一维度很大，拟合出来的函数值与真实的值之间的差距很小，通过正则化可以使整体的cost变大，从而避免了过分依赖某一维度的结果。当然加正则化的前提是特征值要进行归一化。

对于线性回归

Regularized Logistic Regression 实际上与 Regularized Linear Regression 是十分相似的。

同样使用梯度下降：

1.2 Spark Mllib Logistic Regression源码分析

1.2.1 LogisticRegressionWithSGD

Logistic回归算法的train方法，由LogisticRegressionWithSGD类的object定义了train函数，在train函数中新建了LogisticRegressionWithSGD对象。

package org.apache.spark.mllib.classification

// 1 类：LogisticRegressionWithSGD

class LogisticRegressionWithSGD private[mllib] (

    privatevar stepSize: Double,

    privatevar numIterations: Int,

    privatevar regParam: Double,

    privatevar miniBatchFraction: Double)

  extends GeneralizedLinearAlgorithm[LogisticRegressionModel] with Serializable {

 

  privateval gradient = new LogisticGradient()

  privateval updater = new SquaredL2Updater()

  overrideval optimizer = new GradientDescent(gradient, updater)

    .setStepSize(stepSize)

    .setNumIterations(numIterations)

    .setRegParam(regParam)

    .setMiniBatchFraction(miniBatchFraction)

  overrideprotectedval validators = List(DataValidators.binaryLabelValidator)

 

  /**

   * Construct a LogisticRegression object with default parameters: {stepSize: 1.0,

   * numIterations: 100, regParm: 0.01, miniBatchFraction: 1.0}.

   */

  defthis() = this(1.0, 100, 0.01, 1.0)

 

  overrideprotected[mllib] def createModel(weights: Vector, intercept: Double) = {

    new LogisticRegressionModel(weights, intercept)

 }

LogisticRegressionWithSGD类中参数说明：

stepSize: 迭代步长，默认为1.0

numIterations: 迭代次数，默认为100

regParam: 正则化参数，默认值为0.0

miniBatchFraction: 每次迭代参与计算的样本比例，默认为1.0

gradient：LogisticGradient()，Logistic梯度下降；

updater：SquaredL2Updater()，正则化，L2范数；

optimizer：GradientDescent(gradient, updater)，梯度下降最优化计算。

// 2 train方法

object LogisticRegressionWithSGD {

  /**

   * Train a logistic regression model given an RDD of (label, features) pairs. We run a fixed

   * number of iterations of gradient descent using the specified step size. Each iteration uses

   * `miniBatchFraction` fraction of the data to calculate the gradient. The weights used in

   * gradient descent are initialized using the initial weights provided.

   * NOTE: Labels used in Logistic Regression should be {0, 1}

   *

   * @param input RDD of (label, array of features) pairs.

   * @param numIterations Number of iterations of gradient descent to run.

   * @param stepSize Step size to be used for each iteration of gradient descent.

   * @param miniBatchFraction Fraction of data to be used per iteration.

   * @param initialWeights Initial set of weights to be used. Array should be equal in size to

   *        the number of features in the data.

   */

  def train(

      input: RDD[LabeledPoint],

      numIterations: Int,

      stepSize: Double,

      miniBatchFraction: Double,

      initialWeights: Vector): LogisticRegressionModel = {