文章参考了线性模型文章,笔者代码基础很差,只使用sklearn对《机器学习》第三章课后习题3.3和3.5,分别对应对数几率回归和线性判别分析模型做了简单实现。水平有限,如有错误敬请指正。
对数几率回归实现对西瓜数据集的分类
- 数据集
《机器学习》P89页西瓜数据集3.0α - 模型
logistic回归
数据导入及预处理
import pandas as pd
import numpy as np
melon_data = pd.read_csv(melon.csv)
这里看到数据集如图:
由于分类问题需要,需要将文字标签转化为数值标签,因此将“好瓜”列变为0-1标签。
#pd,DataFrame.loc函数 接受单个label 多个label列表 多个label的切片 这里相当于复制原数据
data0 = melon_data.loc[:,['编号','密度','含糖率','好瓜']]
#同时选中行和列,将原始文字标签改为数值标签,便于后续处理
data0.loc[data0['好瓜'] == '是',['好瓜']]=1
data0.loc[data0['好瓜'] == '否',['好瓜']] = 0
data0
经过处理后的数据集如下。
数据集划分
使用20次2折交叉验证对数据集划分。
# 使用sklearn包
from sklearn.model_selection import RepeatedKFold
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
X = np.c_[data0[['密度','含糖率']].values,np.ones(len(data0))]
Y = data0['好瓜'].values.astype('int')
## 划分数据集,20次2拆交叉验证
rkf = RepeatedKFold(n_splits=2, n_repeats=20)
X_index = rkf.split(X)
这里X_index将返回数据索引训练集train_index,测试集test_index。
模型训练
主要用到了sklearn.model_selection中的LogisticRegression函数,该函数的参数较多,可以参考这个文章。LogisticRegression参数
# 全集,求解器参数:lbfgs为牛顿法,liblinear为坐标下降法
#solver为优化算法参数,fit_intercept为是否存在截距或偏差
all_logitmodel = LogisticRegression(solver='lbfgs',fit_intercept=False).fit(X,Y)
my_logitmodel = []
haogua_predict = []
model_accuracy = []
for train_index,test_index in X_index:
cur_model = LogisticRegression(solver='liblinear',fit_intercept=False).fit(X[train_index],Y[train_index])
my_logitmodel.append(cur_model)
haogua_predict.append(cur_model.predict(X[test_index]))
model_accuracy.append(accuracy_score(Y[test_index],cur_model.predict(X[test_index])))
模型结果
model_accuracy0 = np.mean(model_accuracy)
#coef intercept都是模型参数,coef为w1到w3 intercept为w0
#用下划线作为来自训练数据集的属性的结尾,以便将它们与由用户设置的参数区分开
print(f'回归参数(全集):{np.append(all_logitmodel.coef_,all_logitmodel.intercept_)}')
print(f'平均准确率:{model_accuracy0:.4f}')
回归参数(全集):[ 0.17032384 0.45522548 -0.2475991 0. ]
平均准确率:0.4267
# 查看sklearn训练logit模型的结果
beta_hat_sk = all_logitmodel.coef_
beta_hat_sk
array([[ 0.17032384, 0.45522548, -0.2475991 ]])
Y_sk = 1/(1 + np.exp(-np.dot(X,beta_hat_sk.T)))
Y_sk/(1 - Y_sk)
array([[1.08385089],
[1.06662648],
[0.98075337],
[1.00071976],
[0.94646095],
[0.93139655],
[0.90678968],
[0.92578338],
[0.91143235],
[0.91881985],
[0.83533544],
[0.8657919 ],
[0.93662634],
[0.95546066],
[0.98230926],
[0.88031314],
[0.92473503]])
all_logitmodel.predict(X)
array([1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
accuracy_score(Y,all_logitmodel.predict(X))
0.7058823529411765
线性判别分析LDA实现西瓜数据集的分类
- 数据集
同上 - 模型
LDA线性判别分析
数据读入及预处理
数据读入及“好瓜”标签处理代码同上,区别在于线性判别分析需要将正例与反例区分,从而求得散度矩阵。
# 正例1,反例0
X = data0[['密度','含糖率']].values
Y = data0['好瓜'].values
X1 = data0.loc[data0['好瓜'] == 1,['密度','含糖率']].values
X0 = data0.loc[data0['好瓜'] == 0,['密度','含糖率']].values
Y1 = data0.loc[data0['好瓜'] == 1,['好瓜']].values
Y0 = data0.loc[data0['好瓜'] == 0,['好瓜']].values
基本公式计算
参考《机器学习》P59页开始的推导内容,主要需要计算
1、类间散度矩阵,以样本投影后的中心点距离衡量。即需要计算正例与反例中各属性的平均值。
2、类内散度矩阵,以正例和反例中各属性取值与中心点距离衡量。
3、类内散度矩阵奇异值分解,通过np.linalg.svd()函数计算。
X1_mean = np.mean(X1,axis=0)
X0_mean = np.mean(X0,axis=0)
Sigma1 = np.dot((X1 - X1_mean).T,X1 - X1_mean)
Sigma0 = np.dot((X0 - X0_mean).T,X0 - X0_mean)
S_w = Sigma1 + Sigma0
#奇异值分解np.linalg.svd
#返回值3个 U Sigma是对矩阵的奇异值分解 V
# P62页最终公式
U,Sigma,VT = np.linalg.svd(S_w)
Sigma = np.diag(Sigma)
w = np.dot(np.dot(np.dot(VT.T,np.linalg.inv(Sigma)),U.T),X0_mean - X1_mean)
结果
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
Xw = np.dot(X,w.reshape(2,1))
# 显示中字
plt.rcParams['font.sans-serif']=['SimHei']
# 绘图,红色正例,蓝色反例
fig = plt.figure()
ax1 = fig.add_subplot(2,2,1)
for i in range(len(X)):
if Y[i] == 1:
plt.scatter(X[i,0],X[i,1],c='r')
if Y[i] == 0:
plt.scatter(X[i,0],X[i,1],c='b')
# plt.scatter(X[:,0],X[:,1])
plt.title('投影前')
ax2 = fig.add_subplot(2,2,2)
for i in range(len(X)):
if Y[i] == 1:
plt.scatter(Xw[i],0,c='r')
if Y[i] == 0:
plt.scatter(Xw[i],0,c='b')
# plt.scatter(Xw,[0 for i in range(len(Xw))])
plt.title('投影后')
plt.show()
原文章使用的是公式法,但是老师的意思大概是要熟练使用sklearn中的各种函数,所以有时间的话来参考最下面的文章再做补充。
参考文章
牛顿法和梯度下降法对比
pandas.DataFrame.loc函数
np.c_函数
np.dot函数
python实现逻辑回归
sklearn逻辑回归类库使用小结
sklearn中的LogisticRegression
sklearn中的coef_和intercept_
np.linalg.svd()函数
基于sklearn的LDA实现