机器学习之逻辑回归-逻辑回归的原理及python代码实现

逻辑回归

1.功能

做二分类（1/0）任务，并给出相应概率

是否是 逻辑回归讲的是分类问题

二分类可以扩展到多分类问题

2.灵感过程

1.做分类问题从简单的二分类开始

2.标签是（1/0）

3.可使用最简单的单位阶跃函数

$$u(t)=\{\begin{array}{c}1,z>0\\ 0.5,z=0\\ 0,z<0\end{array}$$

4.但是阶跃函数不连续，因此使用logistics function代替（因为形状为s型，因此也叫作sigmoid function)让他连续且可导，logistics function函数为

$$y=\frac{1}{1+e^{-z}}$$

横坐标z纵坐标y定义域为负无穷到正无穷，值域是0-1，

ps: 逻辑回归为什么是分类而不是回归

1.逻辑指的是logistics function

2.回归来源于线性回归的Z=XW，使用线性回归去拟合逼近一个“界”，使得按照这个界进行数据分类后得到的cost最小。以概率0.5为分界线，将数据分为正例和反例。把横坐标分为正和负，把纵坐标分为靠近1的和靠近0的，使得z>0，对应于正例，（趋近于概率1），z<0对应于反例（趋近于概率0）。因此是使用了回归的思想去解决分类的问题。

核心：求解最优的边界函数z=XW（即求当z=0的时候的分界点）

核心：求解Z=XW=w0+w1x1+w2x2

$$h_{model}=\frac{1}{1+e^{-z}}$$
这里我们将传统的xy轴换成了x1，x2轴，其实我们要求解的就是z=0时的这条边界直线，这时概率也达到了分界线0.5（根据h（model）函数，当h=0.5达到分界线的时候，z取0，同样的当z取0的时候，h也达到了0.5），其实就是函数w1x1+w2x2+w0（截距）=0.

我们想做的就是让损失函数cost最小，这里我们在原函数上加上log是为了更方便的计算，由于我们需要0-1之间的数据，但是log在0-1之间的值小于0，所以我们在这里取-，让损失函数在我们需要的范围里面始终为+。在这里也称为对数拟合函数。为了方便计算我们对两部分数据的代价函数进行整合，这样当我们分类为1的时候后一项就成为0保留前半段的代价函数，分类为0的时候保留后半段的代价函数，前半段成为0.

5.求解过程

5.1目的：求最优的决策边界：

$$z=</$$