python逻辑回归的主要参数_python机器学习（六）回归算法-逻辑回归

逻辑回归

同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/pythonml-pythonml6/

一、概述

1.1、概念

是一种名为“回归”的线性分类器，是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。

1.2、按预测标签的数据类型分

连续型变量：通过线性回归方程z，线性回归使用输入的特征矩阵X来输出一组连续型的标签值y_pred，以完成各种预测连续型变量的任务(比如预测产品销量，预测股价等等)

离散型变量：通过Sigmoid函数变换，线性回归方程z变换为g(z)，使得模型的值分布在(0,1)之间，且当g(z)接近0时样本的标签为类别0，当g(z)接近1时样本的标签为类别1，这样就得到了一个分类模型。

线性回归方程式

1.3、公式

公式

其中，y(x)就是我们逻辑回归返回的标签值。

1.4、本质

y(x)的形似几率取对数就是线性回归，对数几率回归，就是逻辑回归。

二、重要概念

Sigmoid函数：Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近于0，它能够将任何实数映射到(0,1)区间，使其可用于将任意值函数转换为更适合二分类的函数。

Sigmoid函数

Sigmoid函数公式

因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于数据预处理中的“缩放”功能，可以将数据压缩到[0,1]之内。区别在于，MinMaxScaler归一化之后，是可以取到0和1的(最大值归一化后就是1，最小值归一化后就是0)，但Sigmoid函数只是无限趋近于0和1。

损失函数：是一个评估指标，来衡量参数为 的模型拟合训练集时产生的信息损失的大小，并以此衡量参数的优劣。

损失函数小，模型在训练集上表现优异，拟合充分，参数优秀。

损失函数大，模型在训练集上表现差劲，拟合不足，参数糟糕。

我们追求，能够让损失函数最小化的参数组合。

注意：没有”求解参数“需求的模型没有损失函数，比如KNN，决策树。

损失函数公式

θ表示求解出来的一组参数，m是样本的个数， yi 是样本 i 上真实的标签， yθ(xi)是样本 i 上，基于参数θ计算出来的逻辑回归返回值，xi 是样本 i 各个特征的取值。我们的目标，就是求解出使 J(θ)最小的 θ 取值。注意，在逻辑回归的本质函