Logistic Regression逻辑回归—梯度下降求解
里面一些公式的推导,我有空了就会再写一篇博客
机器学习入门,这个比较简单,易懂。
链接:https://pan.baidu.com/s/1nwKe0g-U7KRoGVoTwz_fWw 密码:9ucp
问题描述
建立一个逻辑回归模型来预测一个学生是否被大学录取。
根据两次考试的结果来决定申请人是否被录取
我们拥有以前学生的历史数据,将它作为逻辑回归的训练集。(看图三)
对于每一个培训例子,决定出是否能被录取。
let’s 建立一个分类模型,根据你的考试成绩估计你能不能被录取。录取—1,未录取—0
1.数据长什么样子呢???
(1)用pandas读出数据
我们要用的数据,可以观察到 没有列名,这是个什么鬼,仔细观察仔细仔细仔细
34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
… 发现没有,仔细看
我们要用的数据,可以观察到 有三列,没有列名 ,要自己指定
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
#path = 'data' + os.sep + 'LogiReg_data.txt' #os.sep路径分隔符
path = 'LogiReg_data.txt'
pdData = pd.read_csv(path, header=None, names=['Exam 1', 'Exam 2', 'Admitted'])
print(pdData.head()) #打印前5条样本
print(pdData.shape) #打印出数据维度 100行3列
有100个样本 每个样本有三个数据
(2)用matplotlib作图刻画数据(散点图scatter)
s–指描点的大小,
c–指颜色, 正例(录取)用蓝色 —————-反例(未录取)用红色
marker–指样式,正例(录取)用o圈圈 —— 反例(未录取)用x 叉叉
positive = pdData[pdData['Admitted'] == 1]
# 正例returns the subset of rows such Admitted = 1, i.e. the set of *positive* examples
negative = pdData[pdData['Admitted'] == 0]
# 反例returns the subset of rows such Admitted = 0, i.e. the set of *negative* examples
fig, ax = plt.subplots(figsize=(10, 5)) #figsize指定画图域
ax.scatter(positive['Exam 1'], positive['Exam 2'], s=30, c='b', marker='o', label='Admitted')
ax.scatter(negative['Exam 1'], negative['Exam 2'], s=30, c='r', marker='x', label='Not Admitted')
ax.legend()
ax.set_xlabel('Exam 1 Score')
ax.set_ylabel('Exam 2 Score')
plt.show()
我们可以粗略的观察到录取与未录取之间有个分界线,接下来要做的就是求解两门考试成绩与录取之间的关系函数
2.The logistic regression
我们这样想:
现在就是根据已有的数据怼出一个函数来,把你的两门成绩往这函数里一套,就知道你能不能被录取了。
目标:建立分类器(求解出三个参数 θ0θ1θ2 θ 0 θ 1 θ 2 )
设定阈值,根据阈值判断录取结果 : 大于0.5 认为被录取; 否则未被录取
要完成的模块
sigmoid : 映射到概率的函数 预测结果值到概率的转换
model : 返回预测结果值
cost : 根据参数计算损失
gradient : 计算每个参数的梯度方向
descent : 进行参数更新
accuracy: 计算精度
2.1 sigmoid 函数
这个公式是历史的总结。我们只要知道它可以把预测值转换为概率值。你看它的性质就知道了。你随便输个数,它都能给你转成[0 ,1]的数。(看下面的图)
那为什么要转成概率值?有了概率值,你就可以划界线概率值>=0.5,我就认为结果是1(录取),否则我就认为结果是0.——– 二分类
性质:
值