学习目标:
Python实现逻辑回归模型
学习内容:
1.数据集的读取
2.实现Sigmoid函数
3.实现逻辑回归的代价函数,并正则化逻辑回归
4.实现梯度下降函数,输出迭代过程中的代价函数值
5.通过梯度下降计算回归模型,用所得模型对测试集的数据进行预测,并计算准确率
使用X2,X3两组特征画出逻辑回归0-1分布图
学习产出:
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams[“font.family”]=[“Microsoft YaHei”]
#rcParams设置字体为微软雅黑
#数据集的读取
def load_data(file):
data=np.loadtxt(file,delimiter=“,”)
X=data[:,0:3]
y=data[:,3]
return X,y
X_train,y_train=load_data(“train.txt”)
X_test,y_test=load_data(“test.txt”)
#numpy库loadtxt函数加载数据集,delimiter设置分隔符为逗号
#提取特征和标签
#实现Sigmoid函数
def sigmoid(x):
return 1/(1+np.exp(-x))
#实现逻辑回归的代价函数,实现正则化逻辑回归
def cost_func(X,y,theta,lamda_val=0):
m=len(y)
h=sigmoid(np.dot(X,theta.T))
cost=-(np.dot(y,np.log(h))+np.dot(1-y,np.log(1-h)))/m
ll=(lamda_val/(2*m))*np.sum(theta[1:]**2)
cost+=ll
return cost
#实现梯度下降函数,要求输出迭代过程中的代价函数值
def decrease(X,y,theta,alpha,num,lamda_val=0):
m=len(y)
history_j=np.zeros(num)
for i in range(num):
history_j[i]=cost_func(X,y,theta,lamda_val)
h=sigmoid(np.dot(X,theta.T))
error=h-y
grid=np.dot(X.T,error)/m+(lamda_val/m)theta
grid[0]=np.dot(X[:,0].T,error)/m#截距不参与正则化
theta-=alphagrid
return theta,history_j
#通过梯度下降计算回归模型,用所得模型对测试集的数据进行预测,并计算准确率
X_train=np.insert(X_train,0,1,axis=1)
X_test=np.insert(X_test,0,1,axis=1)
y_train=np.array(y_train)
y_test=np.array(y_test)
theta=np.zeros(X_train.shape[1])
alpha=0.02
lambda_val=0.2
theta,history_j=decrease(X_train,y_train,theta,alpha,1000,lambda_val)
print(theta,history_j)
#预测
y_pred=np.round(sigmoid(np.dot(X_test,theta.T)))
print(y_pred)
#准确率
acc=np.sum(y_pred==y_test)/len(y_test)
print(f’准确率:{acc}')
#使用X2,X3两组特征画出逻辑回归0-1分布图
plt.scatter(X_test[:,2],X_test[:,3],c=y_test,cmap=“bwr”,label=“真实值”)
plt.scatter(X_test[:,2],X_test[:,3],c=y_pred,cmap=“cool”,marker=“*”,label=“预测值”)
plt.title(“逻辑回归0-1分布图”)
plt.xlabel(“宽度”)
plt.ylabel(“高度”)
plt.legend()
plt.show()
scatter函数绘制散点图,cmap指定颜色映射,label设置图例