Logistic Regression逻辑回归---梯度下降求解

Logistic Regression逻辑回归—梯度下降求解

里面一些公式的推导，我有空了就会再写一篇博客
机器学习入门，这个比较简单，易懂。
链接：https://pan.baidu.com/s/1nwKe0g-U7KRoGVoTwz_fWw 密码：9ucp

问题描述

建立一个逻辑回归模型来预测一个学生是否被大学录取。
根据两次考试的结果来决定申请人是否被录取
我们拥有以前学生的历史数据，将它作为逻辑回归的训练集。（看图三）
对于每一个培训例子，决定出是否能被录取。
let’s 建立一个分类模型，根据你的考试成绩估计你能不能被录取。录取—1，未录取—0

1.数据长什么样子呢？？？

（1）用pandas读出数据

我们要用的数据，可以观察到 没有列名，这是个什么鬼，仔细观察仔细仔细仔细

34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
… 发现没有，仔细看
我们要用的数据，可以观察到 有三列，没有列名 ，要自己指定

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
#path = 'data' + os.sep + 'LogiReg_data.txt' #os.sep路径分隔符
path = 'LogiReg_data.txt'
pdData = pd.read_csv(path, header=None, names=['Exam 1', 'Exam 2', 'Admitted'])
print(pdData.head()) #打印前5条样本
print(pdData.shape) #打印出数据维度 100行3列

有100个样本 每个样本有三个数据

（2）用matplotlib作图刻画数据（散点图scatter）

s–指描点的大小，
c–指颜色， 正例（录取）用蓝色 —————-反例（未录取）用红色
marker–指样式，正例（录取）用o圈圈 —— 反例（未录取）用x 叉叉

positive = pdData[pdData['Admitted'] == 1]
# 正例returns the subset of rows such Admitted = 1, i.e. the set of *positive* examples
negative = pdData[pdData['Admitted'] == 0]
# 反例returns the subset of rows such Admitted = 0, i.e. the set of *negative* examples

fig, ax = plt.subplots(figsize=(10, 5)) #figsize指定画图域
ax.scatter(positive['Exam 1'], positive['Exam 2'], s=30, c='b', marker='o', label='Admitted')
ax.scatter(negative['Exam 1'], negative['Exam 2'], s=30, c='r', marker='x', label='Not Admitted')
ax.legend()
ax.set_xlabel('Exam 1 Score')
ax.set_ylabel('Exam 2 Score')
plt.show()

我们可以粗略的观察到录取与未录取之间有个分界线，接下来要做的就是求解两门考试成绩与录取之间的关系函数

2.The logistic regression

我们这样想：

$$(录取/不录取)=\theta_0+\theta_1x_1+\theta_2x_2$$

现在就是根据已有的数据怼出一个函数来，把你的两门成绩往这函数里一套，就知道你能不能被录取了。

目标：建立分类器（求解出三个参数$θ_0 θ_1 θ_2$ ）
设定阈值，根据阈值判断录取结果 ： 大于0.5 认为被录取； 否则未被录取

要完成的模块

sigmoid : 映射到概率的函数 预测结果值到概率的转换
model : 返回预测结果值
cost : 根据参数计算损失
gradient : 计算每个参数的梯度方向
descent : 进行参数更新
accuracy: 计算精度

2.1 sigmoid 函数

这个公式是历史的总结。我们只要知道它可以把预测值转换为概率值。你看它的性质就知道了。你随便输个数，它都能给你转成[0 ,1]的数。（看下面的图）

那为什么要转成概率值？有了概率值，你就可以划界线概率值>=0.5，我就认为结果是1（录取），否则我就认为结果是0.——– 二分类

$$g(z)=\frac{1}{1+e^{−z}}$$

性质：
值