梯度下降求解逻辑回归

梯度下降求解逻辑回归

来自唐宇迪——机器学习视频课的笔记。
Logistic Regression 逻辑回归

首先先看一下理论部分：

梯度下降：
引入：当我们得到了一个目标函数后，如何进行求解？
直接求解？（并不一定可解，线性回归可以当作是一个特例）

常规套路：机器学习的套路就是交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做。

如何优化：一步步地完成迭代。（每次优化一点点，积累起来就相当精确了，一般是10000次或者100000次。）
m为样本数。

小批量梯度下降法中的系数$$\alpha \frac{1}{10}$$就是批处理数量为10。
我们现在最常用的就是小批量梯度下降法。

学习率一般取0.01，不行就再小。
批处理数量根据内存，能多大就多大，越大结果越精确，目前一般是64。


下面开始正篇，代码部分：

数据为.txt文件：LogiReg_data.txt，大家可以从我的百度网盘直接下载：
链接：https://pan.baidu.com/s/1D5jS_DTGmU1t3ZrHR8tlvw
提取码：2222

首先是数据和模型描述：

我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。

先对数据进行初步分析：

#三大件
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

import os
os.chdir(r'C:\Users\Administrator\Desktop\python数据分析与机器学习实战\自己的学习资料\数据文件') 
# path = 'data' + os.sep + 'LogiReg_data.txt'也可以用path方法读入
pdData = pd.read_csv('LogiReg_data.txt', header=None, names=['Exam 1', 'Exam 2', 'Admitted'])
pdData.head()

这边数据的第一行直接就是是样本，所以我们要先指定header为none值，然后再重命名列名，exam1是第一次考试成绩，exam2是第二次考试成绩，admitted是是否被录取。

pdData.shape

看一下数据的维度。
(100, 3)

positive = pdData[pdData['Admitted'] == 1] # returns the subset of rows such Admitted = 1, i.e. the set of *positive* examples
negative = pdData[pdData['Admitted'] == 0] # returns the subset of rows such Admitted = 0, i.e. the set of *negative* examples

fig, ax = plt.subplots(figsize=(10,5))
ax.scatter(positive['Exam 1'], positive['Exam 2'], s=30, c='b', marker='o', label='Admitted')
ax.scatter(negative['Exam 1'], negative['Exam 2'], s=30, c='r', marker='x', label='Not Admitted')
ax.legend()
ax.set_xlabel('Exam 1 Score')
ax.set_ylabel('Exam 2 Score')

指定正例为录取的，即admitted为1的样本，负例为未录取的，即admitted为0的样本。

接下来我们来实现算法：

The logistic regression

目标：建立分类器（求解出三个参数 𝜃₀ 𝜃₁ 𝜃₂）

设定阈值，根据阈值判断录取结果。

如果设为0.5，则大于0.5被录取，小于0.5未被录取。

要完成的模块

sigmoid : 映射到概率的函数

model : 返回预测结果值

cost : 根据参数计算损失

gradient : 计算每个参数的梯度方向

descent : 进行参数更新

accuracy: 计算精度

先写sigmoid函数：

S i g m o i d 函 数 的 定 义 域 与 值 域 ： g : R → [ 0 , 1 ] ； g ( 0 ) = 0.5 ； g ( − ∞ ) = 0 ； g