机器学习与数据挖掘--求解对数几率回归问题

机器学习与数据挖掘实验三

（求解对数几率回归问题）

实验目的：

掌握对数几率回归的基本原理和实现

实验环境：

Anaconda/Jupyter notebook/Pycharm

实验内容：

1. 根据给定数据集（存放在data1.txt文件中，二分类数据），编码实现基于梯度下降的Logistic回归算法，并画出决策边界
2. 已经给定部分代码，补充完整的代码，也可以自己重写这部分的代码提交
3. 数据散点图，以及得到的决策边界
4. 梯度下降过程中损失的变化图
5. 基于训练得到的参数，输入新的样本数据，输出预测值

实验步骤：

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn.metrics import accuracy_score

def loaddata():
    data = np.loadtxt('./data1.txt',delimiter=',')
    n = data.shape[1] - 1  # 特征数
    X = data[:, 0:n]
    y = data[:, -1].reshape(-1, 1)
    return X, y

def plot(X,y):
    pos = np.where(y==1)
    neg = np.where(y==0)
    plt.scatter(X[pos[0],0],X[pos[0],1],marker='x')
    plt.scatter(X[neg[0], 0], X[neg[0], 1], marker='o')
    plt.xlabel('Exam 1 score')
    plt.ylabel('Exam 2 score')
    plt.show()

X,y = loaddata()
plot(X,y)
print(X.shape))

def sigmoid(z):
    r = 1/(1+np.exp(-z))
    return r

def hypothesis(X,theta):
    z=np.dot(X,theta)
    return sigmoid(z)

def computeCost(X,y,theta):
    m = X.shape[0]
    z = -1*y*np.log(hypothesis(X,theta))-(1-y)*np.log(1-hypothesis(X,theta)) # 补充计算代价的代码
    return np.sum(z)/m

def gradientDescent(X,y,theta,iterations,alpha):
    #取数据条数
    m = X.shape[0]
    #在x最前面插入全1的列
    X = np.hstack((np.ones((m, 1)), X))
    for i in range(iterations):
        for j in range(len(theta)):
            theta[j] = theta[j]-(alpha/m)*np.sum((hypothesis(X,theta)-y)*X[:,j].reshape(-1,1)) #补充参数更新代码；
        #每迭代1000次输出一次损失值
        if(i%10000==0):
            print('第',i,'次迭代，当前损失为：',computeCost(X,y,theta),'theta=',theta)
    return theta

X,y = loaddata()
n = X.shape[1]#特征数
theta = np.zeros(n+1).reshape(n+1, 1) 
# theta是列向量,+1是因为求梯度时X前会增加一个全1列
theta_temp = np.zeros(n+1).reshape(n+1, 1)
iterations = 250000
alpha = 0.008

theta = gradientDescent(X,y,theta,iterations,alpha)
print('theta=\n',theta)

def plotDescisionBoundary(X,y,theta):
    cm_dark = mpl.colors.ListedColormap(['g', 'r'])
    plt.xlabel('Exam 1 score')
    plt.ylabel('Exam 2 score')
    plt.scatter(X[:,0],X[:,1],c=np.array(y).squeeze(),cmap=cm_dark,s=30)
    x1 = np.arange(min(X[:,0]),max(X[:,0]),0.1)
    x2 = -(theta[1]*x1+theta[0]/theta[2])
    #补充画决策边界代码
    plt.plot(x1,x2)
    plt.show()

plotDescisionBoundary(X,y,theta)据