逻辑回归模型--Python

学习目标：

Python实现逻辑回归模型

---

学习内容：

1.数据集的读取
2.实现Sigmoid函数
3.实现逻辑回归的代价函数，并正则化逻辑回归
4.实现梯度下降函数，输出迭代过程中的代价函数值
5.通过梯度下降计算回归模型，用所得模型对测试集的数据进行预测，并计算准确率
使用X2，X3两组特征画出逻辑回归0-1分布图

---

学习产出：

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams[“font.family”]=[“Microsoft YaHei”]
#rcParams设置字体为微软雅黑

#数据集的读取
def load_data(file):
data=np.loadtxt(file,delimiter=“,”)
X=data[:,0:3]
y=data[:,3]
return X,y
X_train,y_train=load_data(“train.txt”)
X_test,y_test=load_data(“test.txt”)
#numpy库loadtxt函数加载数据集，delimiter设置分隔符为逗号
#提取特征和标签

#实现Sigmoid函数
def sigmoid(x):
return 1/(1+np.exp(-x))

#实现逻辑回归的代价函数，实现正则化逻辑回归
def cost_func(X,y,theta,lamda_val=0):
m=len(y)
h=sigmoid(np.dot(X,theta.T))
cost=-(np.dot(y,np.log(h))+np.dot(1-y,np.log(1-h)))/m
ll=(lamda_val/(2*m))*np.sum(theta[1:]**2)
cost+=ll
return cost

#实现梯度下降函数，要求输出迭代过程中的代价函数值
def decrease(X,y,theta,alpha,num,lamda_val=0):
m=len(y)
history_j=np.zeros(num)
for i in range(num):
history_j[i]=cost_func(X,y,theta,lamda_val)
h=sigmoid(np.dot(X,theta.T))
error=h-y
grid=np.dot(X.T,error)/m+(lamda_val/m)theta
grid[0]=np.dot(X[:,0].T,error)/m#截距不参与正则化
theta-=alphagrid
return theta,history_j

#通过梯度下降计算回归模型，用所得模型对测试集的数据进行预测，并计算准确率
X_train=np.insert(X_train,0,1,axis=1)
X_test=np.insert(X_test,0,1,axis=1)
y_train=np.array(y_train)
y_test=np.array(y_test)
theta=np.zeros(X_train.shape[1])
alpha=0.02
lambda_val=0.2
theta,history_j=decrease(X_train,y_train,theta,alpha,1000,lambda_val)
print(theta,history_j)

#预测
y_pred=np.round(sigmoid(np.dot(X_test,theta.T)))
print(y_pred)

#准确率
acc=np.sum(y_pred==y_test)/len(y_test)
print(f’准确率:{acc}')

#使用X2，X3两组特征画出逻辑回归0-1分布图
plt.scatter(X_test[:,2],X_test[:,3],c=y_test,cmap=“bwr”,label=“真实值”)
plt.scatter(X_test[:,2],X_test[:,3],c=y_pred,cmap=“cool”,marker=“*”,label=“预测值”)
plt.title(“逻辑回归0-1分布图”)
plt.xlabel(“宽度”)
plt.ylabel(“高度”)
plt.legend()
plt.show()
scatter函数绘制散点图，cmap指定颜色映射，label设置图例