机器学习——逻辑回归原理（python实现）

目录

一、什么是逻辑回归

1.1逻辑回归定义

1.2 小栗子~（例子）

1.3 代码

二、逻辑回归的实现

三、用逻辑回归分类预测肿瘤

3.1代码

3.2结果

---

逻辑回归是一种用于有监督学习的分类任务的简单算法，虽然算法的名字为回归，但是逻辑回归常常用于分类。

一、什么是逻辑回归

1.1逻辑回归定义

逻辑回归是一种学习某个事件发生概率的算法。利用这个概率，可以对事件进行二元分类。（也可以三种类别以上分类）。因为是概率，所以输出值范围是0-1。

1.2 小栗子~（例子）

比如suo，下雪天我们要不要穿棉鞋出门捏~(￣▽￣)~*？

如果有积雪，我们就穿棉鞋出门，如果雪化了，我们就传平时滴鞋子~！！！

我们用代码模拟一下数据：

X轴代表温度，Y轴代表概率。

其中Y是穿棉鞋的概率。

计算0℃、1℃、2℃ 穿棉鞋的概率

我们随机取100个[-1,3]温度，穿棉鞋可能性的随机点。

用Sigmoid函数 进行拟合：

 最后可以看出，0℃、1℃、2℃ 穿棉鞋的概率分别为：0.06432261，0.45283124，090878457

 所以，可以根据概率判断是否要穿棉鞋。

1.3 代码

import numpy as np
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt


#np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。
x_train = np.r_[np.random.normal(3,1,size=50),np.random.normal(-1,1,size=50)].reshape((100,-1))
y_train = np.r_[np.ones(50),np.zeros(50)]
x = np.arange(-2,5,0.01).reshape((700,-1))
model =LogisticRegression()
model.fit(x_train,y_train)
plt.xlabel('x', fontsize=18)
plt.ylabel('y', fontsize=18)
plt.plot(x_train,y_train,'o')
plt.plot(x,model.predict_proba(x)[:,1])
print('下雪的可能:',model.predict_proba([[0],[1],[2]])[:,1])
plt.show()

二、逻辑回归的实现

 根据上述可以发现，逻辑回归根据数据x和表示其所属类别的标签y进行学习，计算概率。

逻辑回归的基本思想与线性回归，对数据x乘以权重向量w，再加上偏置w0，计算wTx + w0的值。

与线性回归不同的是，为了计算概率，逻辑回归的输出范围必须限制在0和1之间。逻辑回归使用Sigmoid函数h（z）=1/[z+exp(-z)]，返回0和1之间的数值。

逻辑回归分为三步：

step1：根据经验和观察，认为选定某个算法进行尝试；

step2：寻找某些“最佳”参数，从而得到某个具体的“最佳”算法模型；

step3：使用某个具体的“最佳”算法模型进行预测。

比如，上述例子采用的就是Sigmoid函数。

选择好算法后，要计算损失函数值，在线性回归中，损失函数用的是最小二乘法。但是在逻辑回归中，因为表达式是非线性的，采用均方误差会导致求解过程在局部损失最小值出截至，达不到全局最小值。

所以采用如下损失函数：

 之后进行参数估计和正则化。

三、用逻辑回归分类预测肿瘤

3.1代码

from sklearn.datasets import load_breast_cancer
breast_cancer = load_breast_cancer()
breast_cancer
x = breast_cancer.data
y = breast_cancer.target

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=33,test_size=0.3)

from sklearn.preprocessing import StandardScaler
breast_cancer_ss = StandardScaler()
x_train = breast_cancer_ss.fit_transform(x_train)
x_test = breast_cancer_ss.transform(x_test)

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(x_train,y_train)
lr_y_predict = lr.predict(x_test)

from sklearn.metrics import classification_report
print('正确率：',lr.score(x_test,y_test))
print(classification_report(y_test,lr_y_predict,target_names=['begin','malignant']))

3.2结果