人工智能_03

逻辑回归（用于解决分类问题的一种模型，核心：找到决策边界）

根据数据的特征或者属性，计算出其归属于某一类别的概率$P(x)$，根据概率数值判断其所属的类别。主要应用场景：二分类问题。

单变量逻辑回归：

数学表达式：(sigmoid方程)

$$P(x)=\frac{1}{1+e^{-x}}$$

$$y=\{\begin{array}{ll}1,& \text{P(x) ≥ 0.5}\\ 0,& \text{P(x) < 0.5}\end{array}$$

其中，$y$为类别结果，$P$为概率分布函数，$x$为特征值。

多变量逻辑回归：

数学表达式：
$$P(x)=\frac{1}{1+e^{-g(x)}}$$

$$g(x)={\theta }_0+{\theta }_1{x}_1+...$$

逻辑回归求解：

逻辑回归求解，最小化损失函数$(J)$：
$$J_i=\{\begin{array}{ll}-log(P(x_i)),& \text{if yi =1}\\ -log(1-P(x_i)),& \text{if yi =0}\end{array}$$

$$J=\frac{1}{m}\sum _{i=1}^m{J}_i=-\frac{1}{m}[\sum _{i=1}^m(y_{i}log(P(x_i))+(1-y_i)log(1-P(x_i)))]$$

$$P(x)=\frac{1}{1+e^{-g(x)}}$$

$$g(x)={\theta }_0+{\theta }_1{x}_1+...$$

最小化损失函数，即：$min(J(\theta ))$

优化模型：

• 通过原数据生成新的属性数据
• 建立高阶边界函数

评估模型表现：

1、准确率（类别正确预测的比例）：（越接近1越好）
$$Accuracy=\frac{正确预测样本的数量}{总样本的数量}$$
2、画图看决策边界效果，可视化模型表现：

plt.plot(x1,x2_boundary)
passed = plt.scatter(x1[mask],x2[mask])
failed = plt.scatter(x1[~mask],x2[~mask],maker='^')