《菜菜的机器学习sklearn课堂》逻辑回归

• • 二元逻辑回归的损失函数
• • 损失函数的概念与解惑

• 重要参数penalty & C

• • 正则化（L1、L2）

• 附录

• • 逻辑回归的参数列表

• 逻辑回归的属性列表

• 逻辑回归的接口列表

[《菜菜的机器学习sklearn课堂》笔记目录 + 课件](()

[](()概述：名为"回归"的分类器

================================================================================

我们已经接触了不少带 “回归” 二字的算法，例如回归树、随机森林的回归，他们都是区别于分类算法，用来处理和预测连续型标签的算法。然而逻辑回归是一种名为"回归"的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。

要理解逻辑回归从何而来，得先理解线性回归。线性回归是机器学习中最简单的的回归算法：

z = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n z = \theta_0 + \theta_1x_1 + \theta_2x_2 + … + \theta_nx_n z=θ0​+θ1​x1​+θ2​x2​+…+θn​xn​

θ \theta θ被统称为模型的参数，其中 θ 0 \theta_0 θ0​被称为截距(intercept)， θ 1 \theta_1 θ1​~ θ n \theta_n θn​被称为系数(coefficient)。这个表达式和我们熟悉的 y = k x + b y = kx + b y=kx+b是同样的性质。我们可以使用矩阵来表示这个方程，其中x和 θ \theta θ都可以被看做是一个列矩阵，则有：

z = [ θ 0 , θ 1 , θ 2 . . . θ n ] ∗ [ x 0 x 1 x 2 . . x n ] = θ T x ( x 0 = 1 ) z = [\theta_0, \theta_1, \theta_2…\theta_n] * \begin{bmatrix} x_0\\ x_1\\ x_2\\ …\\ x_n\\ \end{bmatrix} = \theta^Tx(x_0=1) z=[θ0​,θ1​,θ2​…θn​]∗⎣⎢⎢⎢⎢⎡​x0​x1​x2​…xn​​⎦⎥⎥⎥⎥⎤​=θTx(x0​=1)

线性回归的任务：构造一个预测函数 z z z来映射输入的特征矩阵x和标签值y的线性关系

• 构造预测函数的核心就是找出模型的参数： θ T \theta^T θT和 θ 0 \theta_0 θ0​

著名的最小二乘法就是用来求解线性回归中参数的数学方法

通过函数 z z z ，线性回归使用输入的特征矩阵X来输出一组连续型的标签值y_pred，以完成各种预测连续型变量的任务（比如预测产品销量，预测股价等等）。

如果我们的标签是离散型变量（尤其是满足0-1分布的离散型变量），要怎么办呢？

我们可以通过引入联系函数(link function)，将线性回归方程 z z z变换为 g ( z ) g(z) g(z)，并且令 g ( z ) g(z) g(z)的值分布在(0,1)之间，且当 g ( z ) g(z) g(z)接近0时样本的标签为类别0，当 g (