逻辑回归
1.功能
做二分类(1/0)任务,并给出相应概率
是否是 逻辑回归讲的是分类问题
二分类可以扩展到多分类问题
2.灵感过程
1.做分类问题从简单的二分类开始
2.标签是(1/0)
3.可使用最简单的单位阶跃函数
u ( t ) = { 1 , z > 0 0.5 , z = 0 0 , z < 0 u(t)=\left\{\begin{matrix} 1,z>0 \\ 0.5,z=0\\ 0,z<0\end{matrix}\right. u(t)=⎩⎨⎧1,z>00.5,z=00,z<0
4.但是阶跃函数不连续,因此使用logistics function代替(因为形状为s型,因此也叫作sigmoid function)让他连续且可导,logistics function函数为
y = 1 1 + e − z y=\frac{1}{1+e^{-z} } y=1+e−z1
横坐标z纵坐标y定义域为负无穷到正无穷,值域是0-1,
ps: 逻辑回归为什么是分类而不是回归
1.逻辑指的是logistics function
2.回归来源于线性回归的Z=XW,使用线性回归去拟合逼近一个“界”,使得按照这个界进行数据分类后得到的cost最小。以概率0.5为分界线,将数据分为正例和反例。把横坐标分为正和负,把纵坐标分为靠近1的和靠近0的,使得z>0,对应于正例,(趋近于概率1),z<0对应于反例(趋近于概率0)。因此是使用了回归的思想去解决分类的问题。
核心:求解最优的边界函数z=XW(即求当z=0的时候的分界点)
核心:求解Z=XW=w0+w1x1+w2x2
h m o d e l = 1 1 + e − z h_{model} =\frac{1}{1+e^{-z} } hmodel=1+e−z1
这里我们将传统的xy轴换成了x1,x2轴,其实我们要求解的就是z=0时的这条边界直线,这时概率也达到了分界线0.5(根据h(model)函数,当h=0.5达到分界线的时候,z取0,同样的当z取0的时候,h也达到了0.5),其实就是函数w1x1+w2x2+w0(截距)=0.
我们想做的就是让损失函数cost最小,这里我们在原函数上加上log是为了更方便的计算,由于我们需要0-1之间的数据,但是log在0-1之间的值小于0,所以我们在这里取-,让损失函数在我们需要的范围里面始终为+。在这里也称为对数拟合函数。为了方便计算我们对两部分数据的代价函数进行整合,这样当我们分类为1的时候后一项就成为0保留前半段的代价函数,分类为0的时候保留后半段的代价函数,前半段成为0.
5.求解过程
5.1目的:求最优的决策边界:
z = w 0 + w 1 x 1 + w 2 x 2 = [ 1 x 1 x 2 ] [ w 0 w 1 w 2 ] z=w0+w1x1+w2x2=\begin{bmatrix} 1&x1 &x2 \end{bmatrix}\begin{bmatrix} w0\\ w1\\ w2 \end{bmatrix} z