分类算法：Logistic regression详解与Matlab代码实现

最新推荐文章于 2024-03-21 13:12:15 发布

pandapandapandapan

最新推荐文章于 2024-03-21 13:12:15 发布

阅读量3.7k

点赞数 2

文章标签：机器学习逻辑回归

本文链接：https://blog.csdn.net/weixin_38080060/article/details/107286866

版权

1 模型引入与概述

2 matlab代码实现

3 Logistic regression的多分类

4 总结

1 模型引入与概述

机器学习的第一个算法也是最简单的算法是线性回归，对于输入x，模型输出的y是连续的，这也是回归问题(预测)和分类问题的区别，分类问题 $y\in\left\{0,1,2,...\right\}$ ，二分类问题 $y\in\left\{0,1\right\}$ 都是离散值，而回归问题 $y\in\mathbb{R}$ 。明明是分类算法为什么称作Logistic regression，个人理解是因为Logistic Function的输出是 $\left [ 0,1 \right ]$ 之间的实数，这与回归问题的输出是如出一辙的。

1.1 sigmoid函数

下面进行Logistic regression模型的详解，Logistic regression不仅能解决二分类问题，也能处理多分类问题，以二分类问题 $y\in\left\{0,1\right\}$ 为例，多分类问题会在后面讲解。Logistic regression的主要思想是使得目标函数的输出 $h_\theta {\left ( x \right )}\in\left [ 0,1 \right ]$ ，而能够使得函数输出在0，1之间的则关键在于阶跃函数sigmoid function： $g\left ( z \right )=1/\left ( 1+e^{-z} \right )$ ，sigmoid函数的图像如下图所示：从图上可以看出，对于输入值大于零，输出值大于0.5；输入值小于零，输出值小于0.5，这也是用于分类的依据，另外，当输入值接近正无穷大时，函数输出为1，当输入值趋近无穷小时，函数输出为0。