逻辑回归

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

输入：一个线性回归的结果

激活函数：sigmoid函数

回归的结果输入到sigmoid函数中，输出【0，1】区间中的一个概率值，默认阈值为0.5

损失函数：对数似然损失

优化方法：使用梯度下降，减少损失函数的值。提升原本属于正样本的概率，降低原本是负样本的概率

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 1.获取数据
data = pd.read_excel('./data/data.xlsx')

# 2.基本数据处理
# 2.1 缺失值处理
data = data.replace(to_replace="?", value=np.NaN)
data = data.dropna()    # 去除数据中含有NaN的行

# 2.2 确定特征值,目标值
x = data.iloc[:, 1:10]

y = data["Class"]

# 2.3 分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 3.特征工程(标准化)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4.机器学习(逻辑回归)
estimator = LogisticRegression()
estimator.fit(x_train, y_train)

# 5.模型评估
y_predict = estimator.predict(x_test)
print(y_predict)
print(estimator.score(x_test, y_test))