预测型数据分析：分类及逻辑回归

最新推荐文章于 2024-05-28 21:57:12 发布

ailinglingde

最新推荐文章于 2024-05-28 21:57:12 发布

阅读量3.3k

点赞数

1. 分类问题示例：信用卡
从x1:职业，x2：收入等等信用卡申请人不同的信息维度，来判断y：是否发放信用卡，发放哪一类信用卡

2. 分类经典方法：logistic回归（二分类）
虽然名字里有回归二字，但logistic回归解决的是分类的问题

3. scikit learn 实现logistic回归

 
  from sklearn 
  import linear_model

 
  from sklearn.model_selection 
  import cross_val_score

lm=linear_model.LogisticRegression()

model=lm.fit(X,y)

   cross_val_score(lm,X,y,cv= 
  5,scoring= 
  'accuracy') 
 

4. 回到iris的数据集来实现：
载入iris数据集

import pandas

   iris = pandas.read_csv( 
  'http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header= 
  None) 
 

   iris.columns=[ 
  'SepalLengthCm', 
  'SepalWidthCm', 
  'PetalLengthCm', 
  'PetalWidthCm', 
  'Species'] 
 

实现logistic回归

import sklearn

 
  import numpy 
  as np

 
  from sklearn 
  import linear_model

lm=linear_model.LogisticRegression()

   features=[ 
  'PetalLengthCm'] 
 

X=iris[features]

 
  #需要讲Species这个字段由字符串类型转变为数值类型，以表示不同的类别 
 

 
  from sklearn.preprocessing 
  import LabelEncoder

#初始化label

le=LabelEncoder()

   le.fit(iris[ 
  'Species']) 
 

#用离散值转化标签值

   y=le.transform(iris[ 
  'Species']) 
 

print(y)

#通过交叉检验，得到分类准确率

 
  from sklearn.model_selection 
  import cross_val_score

#logistic中的scoring参数指定为accuracy

   scores=cross_val_score(lm,X,y,cv= 
  5,scoring= 
  'accuracy') 
 

print(np.mean(scores))

#请尝试往Feature中添加特征，看看最后的准确率会如何变化

classifier = LogisticRegression()
这条指令调用的都是默认的参数，LogisticRgression函数中还有其他关于正则项、优化算法等参数可以进行设置，请阅读：

逻辑回归本质是一个分类的算法，则可以通用分类算法的评估方法，主要有ROC，AUC,confusion matrix等等

逻辑回归将线性回归中的线性关系放到了指数位置，这两者都属于广义线性回归

阅读对线性回归、逻辑回归、各种回归的概念学习，“2.逻辑回归”中，关于二者的关系的解释

关注