sklearn演示逻辑回归

本笔记尽量描述

sklearn演示逻辑回归

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LogisticRegression
x_features = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0,0,0,1,1,1])
lr_clf = LogisticRegression()
lr_clf = lr_clf.fit(x_features,y_label)#其拟合方程为 y=w0+w1*x1+w2*x2
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1],c = y_label, s=50,cmap='viridis')
plt.title('Dataset')
nx,ny = 200,100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))
z_proba = lr_clf.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

其中sklearn中提供的LogisticsRegression中有liblinear、newtom-cg、lbfgs、sag、saga共5种优化方案，如不声明则默认使用liblinear。声明方式如下（替换*）：

lr_clf = LogisticsRegression(solver='****')

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：
𝑙𝑜𝑔𝑖(𝑧)=11+𝑒−𝑧
而回归的基本方程为 ，
𝑧=𝑤0+∑𝑁𝑖𝑤𝑖𝑥𝑖
将回归方程写入其中为：
𝑝=𝑝(𝑦=1|𝑥,𝜃)=ℎ𝜃(𝑥,𝜃)=11+𝑒−(𝑤0+∑𝑁𝑖𝑤𝑖𝑥𝑖)
所以：
𝑝(𝑦=1|𝑥,𝜃)=ℎ𝜃(𝑥,𝜃) ， 𝑝(𝑦=0|𝑥,𝜃)=1−ℎ𝜃(𝑥,𝜃)

逻辑回归从其原理上来说，逻辑回归其实是实现了一个决策边界：对于函数 𝑦=11+𝑒−𝑧 ,当 𝑧=>0 时, 𝑦=>0.5 ,分类为1，当 𝑧<0 时,𝑦<0.5 ,分类为0，其对应的 𝑦 值我们可以视为类别1的概率预测值.

对于模型的训练而言：实质上来说就是利用数据求解出对应的模型的特定的 𝑤 。从而得到一个针对于当前数据的特征逻辑回归模型。

而对于多分类而言，将多个二分类的逻辑回归组合，即可实现多分类。