机器学习——逻辑回归

'''1 Logistic regression
     在这部分的练习中，你将建立一个逻辑回归模型来预测一个学生是否能进入大学。
假设你是一所大学的行政管理人员，你想根据两门考试的结果，来决定每个申请人是否被录取。
你有以前申请人的历史数据，可以将其用作逻辑回归训练集。对于每一个训练样本，你有申请人
两次测评的分数以及录取的结果。为了完成这个预测任务，我们准备构建一个可以基于两次测试
评分来评估录取可能性的分类模型。'''

'''1.1 Visualizing the data
在开始实现任何学习算法之前，如果可能的话，最好将数据可视化。'''
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


data = pd.read_csv('ex2data1.txt', names=['exam1', 'exam2', 'admitted'])
data.head()

positive = data[data.admitted.isin(['1'])]  # 1
negetive = data[data.admitted.isin(['0'])]  # 0

fig, ax = plt.subplots(figsize=(6,5))
ax.scatter(positive['exam1'], positive['exam2'], c='b', label='Admitted')
ax.scatter(negetive['exam1'], negetive['exam2'], s=50, c='r', marker='x', label='Not Admitted')
# 设置图例显示在图的上方
box = ax.get_position()
ax.set_position([box.x0, box.y0, box.width , box.height* 0.8])
ax.legend(loc='center left', bbox_to_anchor=(0.2, 1.12),ncol=3)
# 设置横纵坐标名
ax.set_xlabel('Exam 1 Score')
ax.set_ylabel('Exam 2 Score')
plt.show()


'''---------------------1.2 Sigmoid function-------------------'''

def sigmoid(z):
    return 1 / (1 + np.exp(- z))


x1 = np.arange(-10, 10, 0.1)
plt.plot(x1, sigmoid(x1), c='r')
plt.show()



'''---------------------1.3 Cost function---------------------'''


def cost(theta, X, y):
    first = (-y) * np.log(sigmoid(X @ theta))
    second = (1 - y)*np.log(1 - sigmoid(X @ theta))
    return np.mean(first - second)

#现在，我们要做一些设置，获取我们的训练集数据。
if 'Ones' not in data.columns:
    data.insert(0, 'Ones', 1)

# set X (training data) and y (target variable)
X = data.iloc[:, :-1].as_matrix()  # Convert the frame to its Numpy-array representation.
y = data.iloc[:, -1].as_matrix()  # Return is NOT a Numpy-matrix, rather, a Numpy-array.

theta = np.zeros(X.shape[1])


'''---------------------1.4 Gradient-----------------------'''

def gradient(theta, X, y):
    return (X.T @ (sigmoid(X @ theta) - y))/len(X) 

print(gradient(theta, X, y))# array([ -0.1, -12.00921659, -11.26284221])



'''---------------------1.5 Learning θ parameters---------------------'''

'''注意，我们实际上没有在这个函数中执行梯度下降，我们仅仅在计算梯度。在练习中，
一个称为“fminunc”的Octave函数是用来优化函数来计算成本和梯度参数。由于我们
使用Python，我们可以用SciPy的“optimize”命名空间来做同样的事情。

     这里我们使用的是高级优化算法，运行速度通常远远超过梯度下降。方便快捷。
只需传入cost函数，已经所求的变量theta，和梯度。cost函数定义变量时变量tehta
要放在第一个，若cost函数只返回cost，则设置fprime=gradient。'''

import scipy.optimize a