数据挖掘——逻辑回归

《数据挖掘》国防科技大学

数据挖掘之逻辑回归

回归问题 Regression

回归分析是研究一个或多个自变量与一个因变量之间是否存在某种线性关系或非线性关系的一种统计学方法。

• 线性回归
• 多项式回归
• 逻辑回归
• 决策树回归

线性回归

一元线性回归：y = a + bx

线性关系刻画（点到直线的距离）

• 点到直线的距离公式（垂直距离）
• 点到直线的纵向距离（竖直距离）
  

最小二乘法

逻辑回归

参数估计

正则化

w在数值上越小与能抵抗数据的扰动。

优化

优化求解

梯度下降法

梯度的本意是一个向量（矢量），表示某一个函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
基本思想是向着梯度的反方向调整，步长不能太大，也不能太小。

学习率

学习率过小，收敛速度太慢；学习率过大，不会收敛。