11python数据分析logistic回归

针对因变量是一个分类变量的情况下，特别是二元的一个分类变量。我们可以把它的取值转化为0 1的取值的情况。

通过一个函数，将因变量转化为连续变量，然后回到线性回归的基本方法上去构建线性回归。

Logistic函数

某个情况是否发生。
p
1-p
p/1-p
z= ln(p/1-p)。 p在0到1之间，z在负无穷到正无穷之间
p=1/1+e^-z

赢的事件和输的事件的优势比

p在0到1之间
事实上，是通过这样一个变换把概率值计算出来，把是否发生的最后的一个结果转化为取1值发生的概率。

p在0到1之间，p/1-p在0到正无穷 z在负无穷到正无穷之间

逻辑回归延续了回归的基本思路，把上面的这个逻辑函数

Logistic回归

 Logistic回归:延续回归的基本思路，解决分类问题
– 因变量为分类变量
y
我们传统的线形回归只能接受连续变量，需要通过函数将因变量转化为自变量，这就是跳跃式的过程。

– 将自变量映射到**(0,1)区间**上
x
– Sigmoid函数

z等于0时，p等于0.5
z增大的话，p会接近于1
z减小的话，p会接近于0

所以我们可以在每个变量上乘以这样一个回归系数，把所有的结果相加，把总和带入到逻辑函数里面，会得到范围在0到1之间的数值。

把发生概率大于0.5的归为1类，小于0.5的归为0类

逻辑回归，也可以看作成概率的估计。事件发生的可能性的大小。

– 逆转换

当作y值，可以对自变量进行这样一个回归
B0

Logistic建模步骤

 1.根据分析目的设置特征，并筛选特征
2. 列出回归方程，估计回归系数
3. 进行模型检验
4. 模型应用

非线性模型

 例子:销售额x与流通费率y

对数据进行逻辑回归
先进行特征筛选

逻辑回归模型的本质是线形回归模型
只不过通过逻辑函数将我们的分类变量y转化为在0到1之间的一个连续变量，将它是否发生转化为它发生的概率这样一个连续变量。将y值转化以后，看出来还是一个线形回归模型，可以采取线性回归的方法去求系数。

广义线性回归。

 直线回归(误差值太大)

多项式回归，假设用二次多项式方程y=a+bx+cx2

对数法，y=a+b logx

指数法，y=a ebx

幂函数法，y=a xb
对比以上各种拟合回归过程得出结论是幂函数法为最佳

代码

# -*- coding: utf-8 -*-
#逻辑回归 自动建模
import pandas as pd

#参数初始化
filename = 'd:/data/bankloan.xls'
data = pd.read_excel(filename)
x = data.iloc[:,:8].as_matrix()
y = data.iloc[:,8].as_matrix()

from sklearn.linear_model import LogisticRegression as LR
from sklearn.linear_model import RandomizedLogisticRegression as RLR 
rlr = RLR() #建立随机逻辑回归模型，筛选变量
rlr.fit(x, y) #训练模型
rlr.get_support() #获取特征筛选结果，也可以通过.scores_方法获取各个特征的分数
print(u'通过随机逻辑回归模型筛选特征结束。')
print(u'有效特征为：%s' % ','.join(data.columns[rlr.get_support()]))
x = data[data.columns[rlr.get_support()]].as_matrix() #筛选好特征

lr = LR() #建立逻辑回归模型
lr.fit(x, y) #用筛选后的特征数据来训练模型
print(u'逻辑回归模型训练结束。')
print(u'模型的平均正确率为：%s' % lr.score(x, y)) #给出模型的平均正确率，本例为81.4%



#非线性回归
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
from sklearn import metrics
x=pd.DataFrame([1.5,2.8,4.5,7.5,10.5,13.5,15.1,16.5,19.5,22.5,24.5,26.5])
y=pd.DataFrame([7.0,5.5,4.6,3.6,2.9,2.7,2.5,2.4,2.2,2.1,1.9,1.8])

fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
ax.scatter(x,y)
fig.show()


from sklearn.linear_model import LinearRegression

linreg = LinearRegression()
linreg.fit(x,y)

# The coefficients
print('Coefficients: \n', linreg.coef_)

y_pred = linreg.predict(x)
# The mean square error
print "MSE:",metrics.mean_squared_error(y,y_pred)

# Explained variance score: 1 is perfect prediction
print('Variance score: %.2f' % linreg.score(x, y))


#多项式模型
x1=x
x2=x**2
x1['x2']=x2

linreg = LinearRegression()
linreg.fit(x1,y)

# The coefficients
print('Coefficients: \n', linreg.coef_)

y_pred = linreg.predict(x)
# The mean square error
print "MSE:",metrics.mean_squared_error(y,y_pred)

#对数模型
x2=pd.DataFrame(np.log(x[0]))

linreg = LinearRegression()
linreg.fit(x2,y)

# The coefficients
print('Coefficients: \n', linreg.coef_)

y_pred = linreg.predict(x2)
# The mean square error
print "MSE:",metrics.mean_squared_error(y,y_pred)

#指数
y2=pd.DataFrame(np.log(y))

linreg = LinearRegression()
linreg.fit(pd.DataFrame(x[0]),y2)

# The coefficients
print('Coefficients: \n', linreg.coef_)

y_pred = linreg.predict(pd.DataFrame(x[0]))
# The mean square error
print "MSE:",metrics.mean_squared_error(y2,y_pred)

#幂函数

linreg = LinearRegression()
linreg.fit(x2,y2)

# The coefficients
print('Coefficients: \n', linreg.coef_)

y_pred = linreg.predict(x2)
# The mean square error
print "MSE:",metrics.mean_squared_error(y2,y_pred)