【机器学习sklearn实战】（二）逻辑回归器

一 逻辑回归基本概念

逻辑回归实际上是利用sigmoid函数将线性回归进行了归一化，把输出值压缩到了 0-1之间，这个值代表的是事件发生的概率。
逻辑回归其实通常是用来做分类器的，基础概念可以参考：
线性回归 逻辑回归(logistic)

二 sklearn逻辑回归

使用sklearn中的库，一般使用逻辑回归器，但是这毕竟是一个起源于线性回归器，所以导包的时候还是线性模型中的一个模型。

• 首先，倒入包： from sklearn.linear_model import LogisticRegression
• 创建模型： lr = LogisticRegression(C=1.0, penalty='l2', tol=0.1)
  模型中的参数介绍参考
• 拟合模型：lr.fit(X_train, y_train)
• 模型的预测值：lr.predict(输入数据)

三 简单实例

1. 乳腺的案例

参考博客
自己完整的代码以及解析：

import pandas as pd
import numpy as np

'''
逻辑回归是分类模型
逻辑回归实际上是利用sigmoid函数将线性回归进行了归一化，把输出值压缩到了0-1之间，这个值代表的是事件发生的概率
逻辑回归：https://www.jianshu.com/p/e51e92a01a9c有参数介绍很详细，有具体的例子。
'''
column_names = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei','Bland Chromatin','Normal Nucleoli','Mitoses','Class']
# 一共11列
data=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin//breast-cancer-wisconsin.data',
                   names=column_names)  # 读取数据  shape是(699, 11)
# print(data.shape)  # (699, 11)
# print(data.head())
data = data.replace(to_replace="?",value=np.nan)  # 把字符串中的 old（旧字符串） 替换成 new(新字符串)
# 非法字符的替代
data=data.dropna(how='any')  # 去掉空值，any：出现空值行则删除
# print(data.head())

# 划分数据
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(data[column_names[1:10]],data[column_names[10]],test_size=0.25,random_state=5)
# 前10列为特征，按照随机种子5以及比例0.25切分为X_train,X_test
# 最后的一列为分类结果，按照随机种子5以及比例0.25切分为y_train,y_test
#  随机种子表示切分结果每次一样

# 使用逻辑回归预测
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 特征缩放：https://blog.csdn.net/BeforeEasy/article/details/89284236
# 特征缩放两种方式：调节比例以及标准化。逻辑回归以及SVM中常用标准化的方式。减去均值，除以方差
ss = StandardScaler()  # 标准化数据，保证每个维度的特征方差为1，均值为0 ,
# 使得预测结果不会被某些维度过大的特征主导
# 作用：去均值和方差归一化 ，StandardScaler对每列分别标准化
X_train = ss.fit_transform(X_train)
X_test = ss.fit_transform(X_test)

lr = LogisticRegression(C=1.0, penalty='l2', tol=0.1)
lr.fit(X_train, y_train)  # 使用标准化之后的数据来训练  让回归器去拟合数据
lr_predict = lr.predict(X_test)  # 预测结果

# 结果分析
from sklearn.metrics import accuracy_score
print("预测结果为：{}".format(lr.score(X_test, y_test)))  # 可以使用自带的score计算分数
# lr.score(x_test,y_test)为啥里面是测试数据，而不是预测数据???lr是已经建立的模型，我们需要用测试数据检验这个模型好不好。
print("预测结果为：{}".format(accuracy_score(y_test, lr_predict)))  # 也可以使用accuary_score来计算准确度

'''
结果：
使用l1正则化：
预测结果为：0.9766081871345029
预测结果为：0.9766081871345029
使用l2正则化：
预测结果为：0.9883040935672515
预测结果为：0.9883040935672515
'''

逻辑回归往往需要先对特征进行缩放，防止你的某个特征的值过大，影响最终的结果。特征缩放往往有两终方式：调节比例和标准化，这里标准化直接调用函数就可以了：
导包：from sklearn.preprocessing import StandardScaler
调用函数：ss = StandardScaler()
X_train = ss.fit_transform(X_train)

另外介绍了两种，计算准确率的方法。具体看代码，以及代码后面的备注。

2. 纸鸢花的分类

参考博客
直接看代码吧…和上一个例子很像。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import linear_model, datasets

# 加载数据
iris = datasets.load_iris()
# print(iris.shape)  # 报错，因为这只是加载数据，不仅加载数据还加载了特征名字等等，所以没有shape
# print(iris.DESCR)  # describe描述数据，数据一共150个，每个类别50个，一共3个类别，特征有4个，最后一列是分类
# 无论任何数据总是有两部分，特征部分data，以及目标结果部分target
X = iris.data[:, :2]  # 使用前两个特征  shape(150, 2)
y = iris.target  # (150,)
# print(X.shape)  # 取走数据以后，才会有shape
# print(y.shape)

# 切分数据
X_train ,X_test, Y_train, Y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 标准化
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.fit_transform(X_test)

# 训练逻辑回归
lr = linear_model.LogisticRegression(C=1e4)
lr.fit(X_train,Y_train)

# 预测
lr_pred = lr.predict(X_test)

# 计算损失
acc = lr.score(X_test,Y_test)
print(acc)
'''
结果：
0.7111111111111111
'''