逻辑回归算法初步涉猎

1. 逻辑回归简介

逻辑回归是机器学习中的一种分类模型，主要应用于以下场景：

（1）广告是否被点击

（2）是否为垃圾邮件

（3）是否患病

（4）是否为金融诈骗

（5）是否为虚假账号

通过以上举例，逻辑回归解决的基本是两个类别（Y / N）的问题。

2. 逻辑回归的原理

（1）输入

逻辑回归的输入就是线性回归的输出。

（2）输出

使用sigmoid函数进行判断。

sigmoid函数：

i. 输出的是[0，1]区间的一个概率值，默认0.5为阈值。

ii. 在分类的时候会将大于阈值的归为1类，小于阈值的归为0类。

iii. 阈值可以改变。

逻辑回归通过概率值来判断某个样本属于什么类别，从而完成最终的分类。假设阈值设定为0.5，某个样本逻辑回归输出结果为0.6，则训练或预测的结果就是1类别；若输出结果为0.3，则训练或预测的结果就是0类别。

（3）评估

要判断逻辑回归的预测结果与真实结果的差异，自然就要引入 「损失」 这个概念啦。逻辑回归的损失，称为对数似然损失，其表达式如下：（其中y为真实值，hθ(x)为训练或预测的结果）

根据表达式得到对应的图像：

无论如何，都希望损失函数值越小越好。相应地，
当y=1时，我们希望hθ(x)值越大越好；
当y=0时，我们希望hθ(x)值越小越好。

（4）优化

提升原本属于1类别的概率，降低原本属于0类别的概率。

3.逻辑回归算法API初步调用

数据集： Customer_Behaviour.csv （来源：https://www.kaggle.com/）

说明：数据集中主要有5个字段：UserID（用户ID）、Gender（性别）、Age（年龄）、EstimatedSalary（预计收入）、Purchased（是否购买）。本例主要探究用户购买行为与性别、年龄、收入之间的关系。

API简单调用及实现

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 读取数据
data = pd.read_csv("Customer_Behaviour.csv")

# 转换类型
convert = {'Female':0,'Male':1}
data['Gender'] = data['Gender'].map(convert)

# 确定目标值，特征值
x = data.iloc[:,1:3]
y = data["Purchased"]

# 分割数据
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22,test_size=0.2)

# 特征工程（标准化）
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)

# 机器学习（逻辑回归）
estimator = LogisticRegression()
estimator.fit(x_train,y_train)

# 模型评估
# 1.准确率
res = estimator.score(x_test,y_test)
print("准确率=",res)
# 2.预测值
pre = estimator.predict(x_test)
print("预测值=",pre)

结果分析

本例输出了预测值与准确率，准确率越接近1，说明模型越准确。