机器学习笔记：LR(Logistic Regression)

格式驾驭不了，图片大小不会改，可以直接看我的有道笔记：http://note.youdao.com/noteshare?id=f8d9fdfcf0c37d43c20e7197378bb2de

• LR特点：
  • 优点
    • 实现简单
    • 分类时计算量非常小，速度快，存储资源低
  • 缺点
    • 容易欠拟合，一般准确度不太高（正则化、减少feature数量）
    • 只能处理两分类问题（在此基础上衍生出来的softmax可用于多分类），且必须线性可分

 

• LR（Logistic Regression）：用了一个Logistic function 将线性回归的连续值映射到了{0，1}空间。试图找到不同类别之间的线性决策边界。

 

• 目的：从训练数据特征中学习出一个0/1分类模型。求解一组权值w0w1w2....wn。

• 数学公式推导：

 

 

• 批量梯度下降算法BGD（Batch gradient descent）
  • • 优点：可以实现全局最优
    • 缺点：每迭代一次，都要用到训练集所有数据
    • 公式推导如下：

 

 

• 随机梯度下降算法SDG（Stochastic gradientdescent）
  • 特点：在新样本到来时对分类 器进行增量式更新，因而随机梯度下降算法是一个在线学习算法。与“在线学习”相对应，一次处理酥油的数据被称为“批处理”。

 

 

• 正则化形式：防止过拟合，正则化可以看做是对损失函数的惩罚项，对某些参数做一些限制。

• • • L1-norm(L1正则化)，Lasso回归（稀疏规则算子）。稀疏。统计不为0的个数作为规则项。假设参数先验服从Laplace分布。

• • • L2-norm(L2正则化)，Ridge回归(岭回归)。平滑。假设参数先验为Gaussian分布。