逻辑回归算法原理简介

1，逻辑回归简介
逻辑回归完成分类任务，是经典的二分类算法（也可以解决多分类问题），机器学习算法一般选择先逻辑回归（优先选择）再用复杂的，逻辑回归的决策边界可以是非线性的（高阶）。可以通过参数对结果进行评估。

2，Sigmoid 函数

表达式：

图像：

自变量取值为任意实数，值域[0,1]。将任意的输入映射到了[0,1]区间，回顾在线性回归中可以得到一个预测值，可再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。

预测函数表达式：

其中

二分类任务：

保证概率求和为1。

整合为下式：

似然函数：

对数似然：

对上式求导：

i代表样本，j代表样本的特征。

转换为梯度下降任务：

参数更新:

学习率乘以方向，m代表bitch的大小

多分类的softmax：

结果值要进行归一化。