人工智能02-简单分类问题？逻辑回归！

02-逻辑回归

引入

• 问题：根据余额判断小明是否回去看电影。
• 训练数据：

余额	-5	-4	-3	-2	-1	1	2	3	4	5
是否看电影（0/1）	0	0	0	0	0	1	1	1	1	1

$$Y=0.1364x+0.5\to y=\{\begin{array}{l}1,Y\ge 0.5\\ 0,Y>0.5\end{array}$$
但是，当加入一个数据$(50,1)$时，数据不对称，其实当$x=1$时，被预测为$Y=0.4888,y=0$，准确率降低！

不能再使用线性回归！

分类任务

基本框架：
$$\{\begin{array}{r}y=f(x_1,x_2,\cdots ,x_n),y=0,1,\cdots ,n-1\\ \text{判断为类别}I,\text{如果}y=i,i=0,1,\cdots ,n-1\end{array}$$

逻辑回归

简单逻辑回归

• 定义：用于解决分类问题的一种模型。根据数据特征或属性，计算其归属于某一类别的概率$P(x)$，根据概率数值判断其所属类别。

• 主要应用场景：二分类问题

例如引入中的问题，可表示为sigmoid方程：

$$P(x)=\frac{1}{1+e^{-x}},y=\{\begin{array}{l}1,P(x)\ge 0.5\\ 0,P(x)<0.5\end{array}$$

其中，$y$为类别结果，$P$为概率分布函数，$x$为特征值。

复杂逻辑回归

如图，此时为二维问题，$x_1,x_2$均作为输入，两个自变量判断$y_1$的概率，此时的概率函数为：
$$P(x)=\frac{1}{1+e^{-g(x)}},g(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
此时，$g(x)$即为图中蓝色线的表达式，该线称为决策边界(Decision Boundary)。许多决策问题即为找出决策边界。

再举一个栗子，如图决策边界为圆形，$x_1,x_2$均作为输入，两个自变量判断概率$y_1$，此时的概率函数为：
$$P(x)=\frac{1}{1+e^{-g(x)}},g(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2$$
$\star$逻辑回归结合多项式边界函数可解决复杂的分类问题！

损失函数

$$J_i=\{\begin{array}{l}-\log \left(P\left(x_i\right)\right),y_i=1\\ -\log \left(1-P\left(x_i\right)\right),y_i=0\end{array}$$

$P(x_i)$即$x_i$为正样本的概率函数，$x_i$的损失函数$J_i$理解：

• 当$y_i=1$即为正样本，若$P(x_i)=0$时，此时损失极大，随着其接近1，损失减小
• 当$y_i=0$即为负样本，若$P(x_i)=1$时，此时损失极大，随着其接近0，损失减小

接下来最小化损失函数：
$$J=\frac{1}{m}\sum _{i=1}^m{J}_i=-\frac{1}{m}\left[\sum _{i=1}^m\left(y_i\log \left(P\left(x_i\right)\right)\right)+(1-y_i)\log \left(1-P\left(x_i\right)\right)\right]$$
此时，$P(x)=\frac{1}{1+e^{-g(x)}},g(x)={\theta }_0+{\theta }_1{x}_1+\cdots$

使用梯度下降法，重复计算直到收敛：
$$\left\{\begin{array}{c}tem{p}_{{\theta }_j}={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )\\ {\theta }_j=tem{p}_{{\theta }_j}\end{array}\right\}$$

以上为B站BV1884y1k7cv的课程笔记，如有不足之处请指出，谢谢！