西瓜书线性模型课后题sklearn实现

文章参考了线性模型文章，笔者代码基础很差，只使用sklearn对《机器学习》第三章课后习题3.3和3.5，分别对应对数几率回归和线性判别分析模型做了简单实现。水平有限，如有错误敬请指正。

对数几率回归实现对西瓜数据集的分类

• 数据集
  《机器学习》P89页西瓜数据集3.0α
• 模型
  logistic回归

数据导入及预处理

import pandas as pd
import numpy as np
melon_data = pd.read_csv(melon.csv)

这里看到数据集如图：

由于分类问题需要，需要将文字标签转化为数值标签，因此将“好瓜”列变为0-1标签。

#pd,DataFrame.loc函数 接受单个label 多个label列表 多个label的切片 这里相当于复制原数据
data0 = melon_data.loc[:,['编号','密度','含糖率','好瓜']]
#同时选中行和列，将原始文字标签改为数值标签，便于后续处理
data0.loc[data0['好瓜'] == '是',['好瓜']]=1
data0.loc[data0['好瓜'] == '否',['好瓜']] = 0
data0

经过处理后的数据集如下。

数据集划分

使用20次2折交叉验证对数据集划分。

# 使用sklearn包
from sklearn.model_selection import RepeatedKFold
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

X = np.c_[data0[['密度','含糖率']].values,np.ones(len(data0))]
Y = data0['好瓜'].values.astype('int')

## 划分数据集，20次2拆交叉验证
rkf = RepeatedKFold(n_splits=2, n_repeats=20)
X_index = rkf.split(X)

这里X_index将返回数据索引训练集train_index,测试集test_index。

模型训练

主要用到了sklearn.model_selection中的LogisticRegression函数，该函数的参数较多，可以参考这个文章。LogisticRegression参数

# 全集，求解器参数：lbfgs为牛顿法，liblinear为坐标下降法
#solver为优化算法参数，fit_intercept为是否存在截距或偏差
all_logitmodel = LogisticRegression(solver='lbfgs',fit_intercept=False).fit(X,Y)
my_logitmodel = []
haogua_predict = []
model_accuracy = []

for train_index,test_index in X_index:
    cur_model = LogisticRegression(solver='liblinear',fit_intercept=False).fit(X[train_index],Y[train_index])
    my_logitmodel.append(cur_model)
    haogua_predict.append(cur_model.predict(X[test_index]))
    model_accuracy.append(accuracy_score(Y[test_index],cur_model.predict(X[test_index])))

模型结果

model_accuracy0 = np.mean(model_accuracy)

#coef intercept都是模型参数，coef为w1到w3 intercept为w0
#用下划线作为来自训练数据集的属性的结尾，以便将它们与由用户设置的参数区分开
print(f'回归参数（全集）:{np.append(all_logitmodel.coef_,all_logitmodel.intercept_)}')
print(f'平均准确率:{model_accuracy0:.4f}')

回归参数（全集）:[ 0.17032384 0.45522548 -0.2475991 0. ]
平均准确率:0.4267

# 查看sklearn训练logit模型的结果
beta_hat_sk = all_logitmodel.coef_
beta_hat_sk

array([[ 0.17032384, 0.45522548, -0.2475991 ]])

Y_sk = 1/(1 + np.exp(-np.dot(X,beta_hat_sk.T)))
Y_sk/(1 - Y_sk)

array([[1.08385089],
[1.06662648],
[0.98075337],
[1.00071976],
[0.94646095],
[0.93139655],
[0.90678968],
[0.92578338],
[0.91143235],
[0.91881985],
[0.83533544],
[0.8657919 ],
[0.93662634],
[0.95546066],
[0.98230926],
[0.88031314],
[0.92473503]])

all_logitmodel.predict(X)

array([1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])

accuracy_score(Y,all_logitmodel.predict(X))

0.7058823529411765

线性判别分析LDA实现西瓜数据集的分类

• 数据集
  同上
• 模型
  LDA线性判别分析

数据读入及预处理

数据读入及“好瓜”标签处理代码同上，区别在于线性判别分析需要将正例与反例区分，从而求得散度矩阵。

# 正例1，反例0
X = data0[['密度','含糖率']].values
Y = data0['好瓜'].values
X1 = data0.loc[data0['好瓜'] == 1,['密度','含糖率']].values
X0 = data0.loc[data0['好瓜'] == 0,['密度','含糖率']].values 
Y1 = data0.loc[data0['好瓜'] == 1,['好瓜']].values
Y0 = data0.loc[data0['好瓜'] == 0,['好瓜']].values

基本公式计算

参考《机器学习》P59页开始的推导内容，主要需要计算
1、类间散度矩阵，以样本投影后的中心点距离衡量。即需要计算正例与反例中各属性的平均值。
2、类内散度矩阵，以正例和反例中各属性取值与中心点距离衡量。
3、类内散度矩阵奇异值分解，通过np.linalg.svd()函数计算。

X1_mean = np.mean(X1,axis=0)
X0_mean = np.mean(X0,axis=0)
Sigma1 = np.dot((X1 - X1_mean).T,X1 - X1_mean)
Sigma0 = np.dot((X0 - X0_mean).T,X0 - X0_mean)
S_w = Sigma1 + Sigma0

#奇异值分解np.linalg.svd
#返回值3个  U  Sigma是对矩阵的奇异值分解  V
# P62页最终公式
U,Sigma,VT = np.linalg.svd(S_w)
Sigma = np.diag(Sigma)
w = np.dot(np.dot(np.dot(VT.T,np.linalg.inv(Sigma)),U.T),X0_mean - X1_mean)

结果

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

Xw = np.dot(X,w.reshape(2,1))

# 显示中字
plt.rcParams['font.sans-serif']=['SimHei']

# 绘图，红色正例，蓝色反例
fig = plt.figure()
ax1 = fig.add_subplot(2,2,1)
for i in range(len(X)):
    if Y[i] == 1:
        plt.scatter(X[i,0],X[i,1],c='r')
    if Y[i] == 0:
        plt.scatter(X[i,0],X[i,1],c='b')
# plt.scatter(X[:,0],X[:,1])
plt.title('投影前')

ax2 = fig.add_subplot(2,2,2)
for i in range(len(X)):
    if Y[i] == 1:
        plt.scatter(Xw[i],0,c='r')
    if Y[i] == 0:
        plt.scatter(Xw[i],0,c='b')
# plt.scatter(Xw,[0 for i in range(len(Xw))])
plt.title('投影后')
plt.show()

原文章使用的是公式法，但是老师的意思大概是要熟练使用sklearn中的各种函数，所以有时间的话来参考最下面的文章再做补充。

参考文章

牛顿法和梯度下降法对比
pandas.DataFrame.loc函数
np.c_函数
np.dot函数
python实现逻辑回归
sklearn逻辑回归类库使用小结
sklearn中的LogisticRegression
sklearn中的coef_和intercept_
np.linalg.svd()函数
基于sklearn的LDA实现