逻辑回归（模型的建立与求解）_logistics回归模型-CSDN博客

本文链接：https://blog.csdn.net/The_lastest/article/details/105937675

本文介绍了逻辑回归模型的建立过程，从分类问题的引出，到通过函数g(z)将线性回归映射至[0,1]范围以解决分类任务。文章详细阐述了逻辑回归的目标函数J(w,b)，并提到使用Scikit-learn进行建模和预测。内容包括数据集的制作、模型训练及决策面的可视化，旨在展现逻辑回归的核心思想。" 74347984,1367902,Redis 集群数据迁移工具 redis-migrate-tool 实战指南,"['Redis', '集群迁移', '数据迁移', 'Twemproxy', '数据一致性']

摘要由CSDN通过智能技术生成

跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎文末扫码关注！

0 前言

在上一讲中，笔者通过五篇文章来详细的介绍了线性回归模型，那么本讲开始继续介绍下一个经典的机器学习算法逻辑回归（Logistics Regression）。

如图所示为逻辑回归模型学习的大致路线，同样也分为三个阶段。在第一个阶段结束后，我们也就大致掌握了逻辑回归的基本原理。下面就开始正式进入逻辑回归模型的学习。

1 引例

通常来讲，一个新算法的诞生要么用来改善已有的算法模型，要么就是首次提出用来解决一个新的问题。而线性回归模型恰恰属于后者，是用来解决一类新的问题——分类（Classification）。那什么又是分类问题呢？

如图所示有两堆样本点，即二分类问题（Binary Classification），现在需要你建立一个模型来对新输入的样本进行预测，判断其应该属于那个类别。对于这个问题的描述用线性回归来解决肯定是不行的，因为两者本就属于不同类型的问题。退一步讲，即使是用线性回归来建模得到的估计也就是一条向右倾斜的直线，而我们这里需要的却是一条向左倾斜的直线。同时，回归模型的预测值都是位于预测曲线上的，而无法做到区分直线两边的东西。那既然用已有的线性回归解决不了，那我们可不可以在此基础上做一点改进以实现分类的目的呢？答案是当然可以。

2 建立模型

2.1 如何建立模型

既然是解决分类问题，那么我们完全可以通过建立一个模型用来预测每个样本点属于其中一个类别的概率 $p$ ，如果 $p > 0.5$ 那我们就可以认为该样本点属于这个类别，这样就能解决上述的二分类问题。可该怎么建立这个模型呢？

前面线性回归中，我们通过建模 $h (x) = w x + b$ 来对新样本进行预测，其输出值为可能的任意实数。但此处既然是要得到一个样本所属类别的概率，那最直接的办法就是通过一个函数 $g (z)$ ，将 $h (x)$ 映射至 $[0, 1]$ 的范围即可。由此，我们便得到了逻辑回归中的预测模型：
$\hat{y}=h(x)=g(wx+b)\tag{1}$
其中 $w, b$ 为未知参数； $h (x)$ 称为假设函数（hypothesis），当 $h(x_i)>0.5$