Logistic回归
1. 概述
- 建立回归公式，寻找最佳拟合参数，根据边界线进行分类
优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。
2. 实现
- Sigmoid函数
σ ( z ) = 1 1 + e − z \sigma(z)=\frac{1}{1+\mathrm{e}^{-z}} σ(z)=1+e−z1
当横坐标足够大时，可以看成一个阶跃函数，很好的处理了在零点时瞬间跳跃的问题 - 最佳回归系数确定
Sigmoid函数的输入为 z z z，用向量可以写成 z = w T x z=w^{T} x z=wTx，表示这两个向量对应相乘再相加， x x x是输入的数据， w w w即要寻找的最佳参数- 梯度上升法
简单来说就是函数对 x y xy xy求偏导得出梯度 ∇ w f ( w ) \nabla_{w} f(w) ∇wf(w)，需要函数在该点有定义并可微，再设置一定步长，记作 α \alpha α，迭代公式如下： w = w + α ∇ w f ( w ) w=w+\alpha \nabla_{w} f(w) w=w+α∇wf(w)
迭代停止的条件可以是某个特定的值或者算法到一个允许的误差范围 - 梯度下降法
上述公式中加号换成减号即可，梯度上升是寻找最大值，下降则是寻找最小值
- 梯度上升法
- 书上提到的数据点划分只有两个坐标
x
1
x_{1}
x1和
x
2
x_{2}
x2，他加入了
x
0
=
1
x_{0}=1
x0=1把
w
0
w_{0}
w0作为常数项，整体过程可以理解为：
- 根据Sigmoid函数把 0 0 0作为数据点的分界处
- 设定 0 = w 0 x 0 + w 1 x 1 + w 2 x 2 0=w_{0} x_{0}+w_{1} x_{1} + w_{2} x_{2} 0=w0x0+w1x1+w2x2
- 利用Logistic回归找出三个 w w w的最优解
- 解出 X 1 和 X 2 X{1}和X{2} X1和X2的关系式
- 得到最佳拟合直线
3. 总结
- Logistic回归确定参数，抽象的来说就是根据误差迭代找到一个误差最小的最佳拟合直线
- 在最优化算法中，随机梯度上升占用资源更少，最为常用
扫一扫
391
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
