逻辑回归案例练习

逻辑回归案例练习

1、概述

逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法，叫着“回归”的名背地里却做着“分类”的事，完美诠释“曲线救国”。

线性回归的任务，就是构造一个预测函数来映射输入的特征矩阵x和标签值y的线性关系，而构造预测函数的核心就是找出模型的参数，线性回归方程z即：

那如果我们的标签是离散型变量，尤其是，如果是满足0-1分布的离散型变量，我们要怎么办呢？我们可以通过引入联系函数，将线性回归方程z变换为g(z)，并且令g(z)的值分布在(0,1)之间，且当g(z)接近0时样本的标签为类别0，当g(z)接近1时样本的标签为类别1，这样就得到了一个分类模型。这个联系函数对于逻辑回归来说，就是Sigmoid函数：

于是我们将带入，就得到了逻辑回归(Logistic Regression) 模型的一般形式：

然而有时，我们也会称逻辑回归为 “对数几率回归” ，原因如下：

假设特征X所对应的y值是在指数上变化，那么就可以将结果y值取对数，作为其线性模型逼近的目标。也就是所谓的 “对数线性回归”



于是y(x)的形似几率取对数的本质其实就是我们的线性回归z，我们实际上是在对线性回归模型的预测结果取对数几率来让其的结果无限逼近0和1。因此，其对应的模型被称为 “对数几率回归”。

2 损失函数
逻辑回归是一种监督式学习，是有训练标签的，就是有已知结果的，从这个已知结果入手，去推导能获得最大概率的结果参数，只要我们得出了这个参数，那我们的模型就自然可以很准确的预测未知的数据了。而利用实验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

3、梯度下降
在多元函数上对各个自变量求∂偏导数，把求得的各个自变量的偏导数以向量的形式写出来，就是梯度。



4 决策边界和多项式
4.1 决策边界
和支持向量机类似，逻辑回归也可以可视化其决策边界

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
X = iris