目标识别与跟踪基础知识（二）

逻辑回归

先讲一下线性回归

1.1线性回归
通过学习一条直线来拟合样本点，在二维平面上，就是y=ax+b，学习参数a和b，在n维空间中，形式可以表示为y = a1x1 + a2x2 + …… + b，学习a1…an-1和b。
但是现实中，xi是模型输入，模型的输入多种多样，连续值、离散值、枚举值；而且输入的范围差别很大。如：室外温度的范围[-50, 50]，某概率的范围[0, 1]。数值大的输入在实际计算中往往就使得输入范围小的输入的作用可以忽略不计了。这还是拟合问题，在实际中分类问题更有价值。于是我们引出了逻辑回归。

1.2逻辑回归
学习y = a1x1 + a2x2 + …… + b，做如下变换：令 y = log( p / (1-p) )，其中p是[0,1]之间的数。变换：

函数如图：

这就是最后逻辑回归模型的函数形式，也叫做sigmoid函数，可以看到，p在[0, 1]之间，输入是整个实数域，曲线连续、可导。 所以在解决二分类问题时，可以设定一个阈值，当 p > 阈值 的时候，分为类别A；否则，分为类别B（阈值可设为0.5）。
为什么选用S函数呢，其优点是输出范围有限，数据传递过程中不会发散，输出范围为（0，1），所以可以用作输出层，输出表示概率，且求导容易。
我们将S预测函数记为

用概率表示：
正例(y=1):

反例(y=0):

Logistic regression:Cost函数：

(对数似然函数)
我们要学习训练出θ使J(θ)最小化，于是用到求偏导，领其等于0，梯度下降法，即基础知识（一）中所讲。
更新法则：

直到θ小于设定的阈值收敛。

---