二元逻辑回归 · 数学推导过程及代码实现完全解析

最新推荐文章于 2024-05-31 09:00:00 发布

如月的

最新推荐文章于 2024-05-31 09:00:00 发布

阅读量4k

点赞数 7

分类专栏：机器学习背后的理论文章标签：机器学习逻辑回归 python 统计模型算法

本文链接：https://blog.csdn.net/weixin_44780709/article/details/114982377

版权

文章目录

概述
- 两个重要函数
- 预测的基本思想
二元逻辑回归

最近修改：2021/6/17

原文《从二元逻辑回归到多元逻辑回归 · 推导过程完全解析》经过多次修改后变得越来越长，因此笔者将其分为两部分：

第一部分：二元逻辑回归 · 数学推导过程及代码实现完全解析
第二部分：多元逻辑回归 · 数学推导过程及代码实现完全解析

概述

以下是此篇文章要用的包

# 加载包
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
sns.set_style('darkgrid')

两个重要函数

二元逻辑回归的出发点是sigmoid函数
$\frac{1}{1+e^{-x}}= \frac{e^{x}}{1+e^{x}}$

Sigmoid函数能将实数域的连续数映射到0,1区间，概率的取值范围就在0,1之间，因此可以用来做概率的预测。

以下是Sigmoid函数的代码和图像

x=np.arange(-10,10)
y=1/(1+np.exp(-x))
plt.plot(x,y)

Output:

多元逻辑回归的出发点是softmax函数
$S(x)=\frac{e^{x_i}}{\sum_{j=1}^{k}e^{x_j}}$
Softmax函数也是将实数域的连续数映射到0,1区间，进而可以理解为是概率。

以下是softmax函数的代码和图像

图像的特点：

设向量x=[0,1,2,3,…,49]，其输出也是一个向量y
这里Softmax函数会将x里的每个数映射到0,1区间
并且y里元素加和为一
数越大，其输出也越大，即概率越大。

x=np.arange(0,50)
y=np.exp(x)/np.sum(np.exp(x))
plt.plot(x,y)
print('the sum of y={}'.format(y.sum()))

Output:
the sum of y=1.0

预测的基本思想

我们想处理分类问题，最基本的统计模型便是逻辑回归，之所以使用它，最主要的原因是其输出是在0,1之间。

注意，我们并不是直接输出类别编号，而是一个概率值

然后我们会根据情况的不同来确定一个阈值,通常这个阈值定在0.5。比如，二元模型中(类别0和1)，我的输出是P(Y=1)=0.75(0.75>0.5)，则认为此时Y是属于类别1的。