4.1 广义线性模型之Possion回归模型的SGA实现(与statsmodels中的Possion对比)

在2.3节中，我们从广义线性模型推导出了Possion回归模型，这个模型在sklearn.linear_model中并没有实现，由此，我认为有实现的必要。在Github上浏览的时候，发现在statsmodels.discrete.discrete_model中实现了此模型，因此，在这里，我给出自己实现的Possion回归模型实现代码并与其进行效果对比。

import numpy as np
import statsmodels.api as sm
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons

def hypothesis(x):
    return np.exp(x)
def SGA(X,y,a=0.001):
    theta=np.zeros(3).T
    for times in range(1000):
        for i in range(100):
            theta+=a*(y[i] - hypothesis(X[i].dot(theta)) )*X[i].T
    return theta
#生成数据
np.random.seed(0)
X,y=make_moons(n_samples=100)
X=np.insert(X,0,1,axis=1)
#梯度上升获得参数，预测
theta=SGA(X,y)
predVals1=hypothesis(np.dot(X,theta))

pModel=sm.Poisson(y,X).fit()
predVals2=pModel.predict(X)

fig,axes=plt.subplots(nrows=1,ncols=2,sharey=True)
axes[0].plot(y, 'r*-', range(len(y)), predVals1, 'bo-.'