吴恩达老师机器学习第二次作业——逻辑回归（python实现）

github地址：https://github.com/Europe233/ml_homework_py/tree/master/exercise2

【第一部分：不带正则化】
这一部分的数据是这样的：
我们用一个线性函数来分割两种不同种类的点。做完逻辑回归后结果是这样的：

代码如下：
ex2.py

import numpy as np
import scipy.optimize as opt

from plotData import *
from costFunction import *
from plotDecisionBoundary import *

# ================第一部分：载入数据和画图===============
data = np.loadtxt('ex2data1.txt',delimiter=',',usecols=(0,1,2))
x = data[:,0:2]
y = data[:,2]
plot_dataset1(x,y)
plt.show()

# ================第二部分：优化=========================
#数据数量m
m = y.size

#加上一列1到x
X = np.c_[np.ones(m),x]

#初始参数
n = X.shape[1]
ini_theta = np.zeros(n)
print("ini_cost:   ",cost(ini_theta,X,y))
print("ini_grad:   ",gradient(ini_theta,X,y),"\n\n")

#使用scipy中的bfgs优化方法
opt_theta,opt_cost,*unused = opt.fmin_bfgs(f=cost,x0=ini_theta,fprime=gradient,args=(X,y),full_output=True)

# ================第三部分：画出decision boundry=============
plot_dataset1(x,y)
plot_decision_boundary(opt_theta)
plt.show()

plotData.py

"""用于数据可视化"""
import numpy as np
import matplotlib.pyplot as plt

def plot_data_points(x,y):
    """画出数据点分布，不同类型用不同颜色"""
    #得到数据的组数
    m = y.size

    type1_x=[]
    type1_y=[]
    type2_x=[]
    type2_y=[]
    for i in range(m):
        if y[i] == 0:
            type1_x.append(x[i,0])
            type1_y.append(x[i,1])
        else:
            type2_x.append(x[i,0])
            type2_y.append(x[i,1])
   
    #画图
    plt.scatter(type1_x,type1_y,c='yellow',marker='o',edgecolors='black',s=15)
    plt.scatter(type2_x,type2_y,c='black',marker='+',edgecolors='black',s=15)

def plot_dataset1(x,y):
    plot_data_points(x,y)
    #坐标轴范围和legend
    plt.axis([10,120,10,120])
    plt.legend(['Not Admitted','Adimitted'],loc=1)

def plot_dataset2(x,y):
    plot_data_points(x,y)