第一部分 准备知识
使用一个小Demo讲解了可视化的过程，以及如何使用sklearn的方法进行逻辑回归分类。
1.1 需要导入的库函数
## 基础函数库
import numpy as np
## 导入画图库
import matplotlib.pyplot as plt
import seaborn as sns
## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression
1.2 训练逻辑回归模型
##Demo演示LogisticRegression分类
## 构造数据集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])
## 调用逻辑回归模型
lr_clf = LogisticRegression()
## 用逻辑回归模型拟合构造的数据集
lr_clf = lr_clf.fit(x_fearures, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2
sklearn调用逻辑回归模型很简单，调用模型后使用fit()方法训练，后续会讲解原理。
这里输入参数有两个，因此会有W1,W2两个参数，以及偏置项W0，我们可以查看这几个数值。
##查看其对应模型的w
print('the weight of Logistic Regression:',lr_clf.coef_)
##查看其对应模型的w0
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)
##the weight of Logistic Regression:[[0.73462087 0.6947908]]
##the intercept(w0) of Logistic Regression:[-0.03643213]
其中W1，W2又叫权重参数，W0又叫截距项。
1.3 可视化
首先是可视化数据样本，使用plt.scatter()的方法绘制散点图即可，需要理解的是如何绘制决策边界。
我自己的理解是使用训练好的模型，去预测一定区域的全部点，虽然每个单独的预测结果都是一个点，但是只要数量足够就能形成线段，也就是决策边界，下面看一下代码：
# 可视化决策边界
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')
nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))
z_proba = lr_clf.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')
plt.show()
代码的第二部分使用了三个不同的函数，下面分别对其进行解释。
plt.xlim()
该方法可以设置x轴的最大值与最小值，默认为x_max = 1，x_min = 0，可以直接在括号内设置范围。
X, Y = np.meshgrid(x, y)
numpy提供的numpy.meshgrid()函数可以让我们快速生成坐标矩阵X，Y。输入的x，y就是网格点的横纵坐标列向量，输出的X，Y就是坐标矩阵。
np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
| 属性 | 说明 |
|---|---|
| start | 队列的开始值 |
| stop | 队列的结束值 |
| num | 要生成的样本数，非负数，默认是50 |
| endpoint | 若为True，“stop”是最后的样本；否则“stop”将不会被包含。默认为True |
| retstep | 若为False，返回等差数列；否则返回array([samples, step])。默认为False |
在区间[start, stop]中返回“num”个等间距的样本。
因此第二部分的代码就是生成一定范围、一定数量的矩阵。
之后第三部分的代码使用训练好的模型预测上述的样本矩阵。
np.c_()是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。与其对应的是np.r()按列连接。
.ravel()返回一维数组，不产生副本
predict_proba()返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。
最后使用预测的结果绘制边界。
contour([X, Y,] Z, [levels], ** kwargs)
| 参数 | 说明 |
|---|---|
| X，Y ： array-like，可选 | 值Z的坐标。2-D，且形状与Z相同，或者它们必须都是1-d，分别为Z的列和行。 |
| Z ： array-like（N，M） | 绘制轮廓的高度值。 |
| levels | int或类似数组，可选。确定轮廓线/区域的数量和位置。 |
还有其他的一些参数link.
最后就是使用模型对新样本进行预测，这一部分与下一节内容相同，这里先略过。
第二部分 基于鸢尾花（iris）数据集的逻辑回归分类实践
鸢尾花数据集包含5个变量，其中4个特征变量，1个目标分类变量。共有150个样本，目标变量为 花的类别 其都属于鸢尾属下的三个亚属，分别是山鸢尾 (Iris-setosa)，变色鸢尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)。包含的三种鸢尾花的四个特征，分别是花萼长度(cm)、花萼宽度(cm)、花瓣长度(cm)、花瓣宽度(cm)。
2.1 数据读取
##我们利用sklearn中自带的iris数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式
##利用.info()查看数据的整体信息
iris_features.info()
##<class'pandas.core.frame.DataFrame'>
##RangeIndex:150entries,0to149
##Datacolumns(total4columns):
###ColumnNon-NullCountDtype
##----------------------------
##0sepallength(cm)150non-nullfloat64
##1sepalwidth(cm)150non-nullfloat64
##2petallength(cm)150non-nullfloat64
##3petalwidth(cm)150non-nullfloat64
##dtypes:float64(4)
##memoryusage:4.8KB
数据是sklearn自带的，直接导入即可；.info()方法可以查看整体信息，这里显示一共有150个样本，没有缺失值，以及数据类型。
进行简单的数据查看，可以使用.head()查看前5行数据（默认），括号内可设置参数，作为你想查看的行数，相应的有.tail()查看后五行数据。
iris_features.head()
iris_features.tail()
查看标签后，可以使用value_count()函数查看每个类别的数量。
##其对应的类别标签为，其中0，1，2分别代表'setosa','versicolor','virginica'三种不同花的类别
iris_target
##array([0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
##0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
##0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
##1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
##1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,
##2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
##2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2])
##利用value_counts函数查看每个类别数量
pd.Series(iris_target).value_counts()
##2 50
##1 50
##0 50
##dtype:int64
.describe()可以进行统计描述。
##对于特征进行一些统计描述
iris_features.describe()
显示了均值、方差、最小值、最大值等
2.2 可视化
可视化之前可以对数据进行浅拷贝，防止源数据被修改。
## 合并标签和特征信息
iris_all = iris_features.copy() ##进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target
使用pairplot展现变量两两之间的关系。
## 特征与标签组合的散点可视化
sns.pairplot(data=iris_all,diag_kind='hist', hue= 'target')
plt.show()
| 参数 | 说明 |
|---|---|
| kind | 用于控制非对角线上的图的类型，可选"scatter"与"reg" |
| diag_kind | 控制对角线上的图的类型，可选"hist"与"kde" |
| hue | 针对某一字段进行分类 |
我们可以从经过hue分类后的pairplot中发现，不论是从对角线上的直方图还是分类后的散点图，都可以看出对于不同种类的花，其萼片长、花瓣长、花瓣宽的分布差异较大，换句话说，这些属性是可以帮助我们去识别不同种类的花的。
其他参数.
此外也可以绘制箱型图以及多维散点图查看分布情况。
2.3 利用逻辑回归模型进行训练和预测
如果只提取鸢尾花数据集的两个类别进行分类预测，对模型来说就比较简单，可以达到百分百的正确率，而使用三个类别进行训练和预测，则会出现些许误差。
首先是划分训练集和测试集，这样可以正确评估模型性能。
##测试集大小为20%，80%/20%分
x_train,x_test,y_train,y_test=train_test_split(iris_features,iris_target,test_size=0.2,random_state=2020)
然后自然就是定义模型并训练。
##定义逻辑回归模型
clf=LogisticRegression(random_state=0,solver='lbfgs')
##在训练集上训练逻辑回归模型
clf.fit(x_train,y_train)
这里的参数solver是优化的方法，默认solver ‘adam’在相对较大的数据集上效果比较好（几千个样本或者更多），对小数据集来说，lbfgs收敛更快效果也更好。
solver： {‘lbfgs’, ‘sgd’, ‘adam’}, 默认adam，用来优化权重
训练好模型就可以用于预测了。
##在训练集和测试集上分布利用训练好的模型进行预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)
##由于逻辑回归模型是概率预测模型（前文介绍的p=p(y=1|x,\theta)）,所有我们可以利用predict_proba函数预测其概率
train_predict_proba=clf.predict_proba(x_train)
test_predict_proba=clf.predict_proba(x_test)
print('The test predict Probability of each class:\n',test_predict_proba)
##其中第一列代表预测为0类的概率，第二列代表预测为1类的概率，第三列代表预测为2类的概率。
预测的输出为三列，每一列表示该样本预测为某类的概率，预测概率最大类别即为预测结果。
The test predict Probability of each class:
[[ 1.32525870e-04 2.41745142e-01 7.58122332e-01]
[ 7.02970475e-01 2.97026349e-01 3.17667822e-06]
[ 3.37367886e-02 7.25313901e-01 2.40949311e-01]
[ 5.66207138e-03 6.53245545e-01 3.41092383e-01]
[ 1.06817066e-02 6.72928600e-01 3.16389693e-01]
[ 8.98402870e-04 6.64470713e-01 3.34630884e-01]
[ 4.06382037e-04 3.86192249e-01 6.13401369e-01]
[ 1.26979439e-01 8.69440588e-01 3.57997319e-03]
[ 8.75544317e-01 1.24437252e-01 1.84312617e-05]
[ 9.11209514e-01 8.87814689e-02 9.01671605e-06]
[ 3.86067682e-04 3.06912689e-01 6.92701243e-01]
[ 6.23261939e-03 7.19220636e-01 2.74546745e-01]
[ 8.90760124e-01 1.09235653e-01 4.22292409e-06]
[ 2.32339490e-03 4.47236837e-01 5.50439768e-01]
[ 8.59945211e-04 4.22804376e-01 5.76335679e-01]
[ 9.24814068e-01 7.51814638e-02 4.46852786e-06]
[ 2.01307999e-02 9.35166320e-01 4.47028801e-02]
[ 1.71215635e-02 5.07246971e-01 4.75631465e-01]
[ 1.83964097e-04 3.17849048e-01 6.81966988e-01]
[ 5.69461042e-01 4.30536566e-01 2.39269631e-06]
[ 8.26025475e-01 1.73971556e-01 2.96936737e-06]
[ 3.05327704e-04 5.15880492e-01 4.83814180e-01]
[ 4.69978972e-03 2.90561777e-01 7.04738434e-01]
[ 8.61077168e-01 1.38915993e-01 6.83858427e-06]
[ 6.99887637e-04 2.48614010e-01 7.50686102e-01]
[ 5.33421842e-02 8.31557126e-01 1.15100690e-01]
[ 2.34973018e-02 3.54915328e-01 6.21587370e-01]
[ 1.63311193e-03 3.48301765e-01 6.50065123e-01]
[ 7.72156866e-01 2.27838662e-01 4.47157219e-06]
[ 9.30816593e-01 6.91640361e-02 1.93708074e-05]]
也可以使用准确率来评估模型性能。
##利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))
再者还能查看混淆矩阵，对角线为预测正确的类别，其余部分为预测错误。
##查看混淆矩阵
confusion_matrix_result=metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)
##利用热力图对于结果进行可视化
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_result,annot=True,cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()
##The confusion matrix result:
##[[10 0 0]
##[0 8 2]
##[0 2 8]]
绘制混淆矩阵使用了热力图，热力图主要用来可视化数字。
seaborn.heatmap(data, vmin=None, vmax=None, cmap=None, center=None, robust=False, annot=None, fmt='.2g', annot_kws=None, linewidths=0, linecolor='white', cbar=True, cbar_kws=None, cbar_ax=None, square=False, xticklabels='auto', yticklabels='auto', mask=None, ax=None, **kwargs)
上面的函数原型，咋一看有20多个参数，这咋记。其实参数除了data以外，其他的都有默认值，我们只要搞清楚data的类型就好了，这里的data，如果接收的是numpy二维数组的话，可以看到行标就是0,1,2，如果是DataFrame，就可以用列名来标记了。
其余的参数都是用来美化，主要使用下面两个参数
| 参数 | 说明 |
|---|---|
| annot | 默认为False，为True的话，会在格子上显示数字 |
| vmax, vmin | 热力图颜色取值的最大值，最小值，默认会从data中推导 |
其余参数.
2.4 逻辑回归原理
Logistic回归是一种分类方法，主要用于二分类，使用了Logistic函数（或称为Sigmoid函数）:
对应的函数图像：
当z≥0 时,y≥0.5,分类为1，当 z<0时,y<0.5,分类为0，其对应的y值我们可以视为类别1的概率预测值。
由
可得
逻辑回归如何根据样本点获得决策边界呢？观察sigmoid函数，当g(z)>0.5时，z>0。g(X^T * W)>0.5, X^T * W>0，此时意味着预估y=1。所以认为X^T * W = 0 是一个决策边界，当它大于或小于0时，逻辑回归模型分别预测不同的分类结果。只要g(z)中z设计足够合理，就能在不同情形下拟合出不同的决策边界，从而把不同的样本点分隔开来。
通过求导，还可以得到逻辑回归的损失函数：
计算所有样本的代价：
有了代价函数就能通过梯度下降的方式，迭代更新，获得最优参数：
这里的θ即为权重参数W。
整个过程其实是不断将点x(X1, X2)进行几何坐标变换的。
第一步将分布在整个二维平面的点x(X1, X2)通过线性投影映射到一维直线上成为点x(z)；
第二步将分布在整个一维直线的点x(z)通过sigmoid函数映射到一维线段(0, 1)中成为点x(g(z))；
第三步将所有点的坐标通过损失函数统一计算成一个值，如果这是最小值，相应的参数就是我们需要的理想值。
对于模型的训练而言：实质上来说就是利用数据求解出对应的模型的特定的ω。从而得到一个针对于当前数据的特征逻辑回归模型。
而对于多分类而言，将多个二分类的逻辑回归组合，即可实现多分类。
4959
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
