Logistic回归
1.基于Logistic回归和Sigmoid函数的分类
Sigmoid函数单调可微,而且可以输出0和1,所以对于分类来说更好处理
Sigmoid函数如下:
σ=11+e−z σ = 1 1 + e − z
2.基于最优化方法的最佳回归系数确定
Sigmoid函数的输入记为z,由下面公式得出:
z=w0x0+w1x1+w2x2+...+wnxn z = w 0 x 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n如果采用向量的写法,上述公式可以写成 z=wTx z = w T x
2.1梯度上升法
梯度上升法基于的思想是:要找到某函数的最大值,最好的办法是沿着该函数的梯度方向探寻,梯度上升算法的迭代公式为:
w:=w+α∇wf(w) w := w + α ∇ w f ( w )
这里 α α 为步长
2.2训练算法:使用梯度上升找到最佳参数
代码如下:
def loadDataSet():
"""这个函数是对数据进行加载和处理"""
dataMat = []
labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def sigmoid(inX):
"""这个就是Sigmoid函数"""
return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn,classLabels):
"""这个函数表示梯度上升算法"""
dataMatrix = mat(dataMatIn)#将数据转换为矩阵
labelMat = mat(classLabels).transpose()
m,n = shape(dataMatrix) #返回矩阵的行列
alpha = 0.001
maxCycles = 500 #最大迭代次数
weights = ones((n,1)) #ones函数用来构造一个全一矩阵
for k in range(maxCycles):
h = sigmoid(dataMatrix*weights)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose() * error
return weights
2.3分析数据:画出决策边界
画出数据集和Logistic回归最佳拟合直线的函数
"""
调用matplotlib画图的流程是:
调用figure()得到fig对象 -> 调用fig.add_subplot(111)得到axis对象 -> 调用plt.plot绘制 -> plt.show()显示出figure
"""
def plotBestFit(weights):
import matplotlib.pyplot as plt
dataMat,labelMat = loadDataSet()
dataArr = array(dataMat)
n = shape(dataArr)[0]
xcord1 = [];ycord1 = []
xcord2 = [];ycord2 = []
for i in range(n): #将sigmoid对应的0/1的值分开
if int(labelMat[i])==1:
xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])#这里存放的是函数值为1的
else:
xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])#这里存放的是函数值为0的
fig = plt.figure() #第一步 定义一个新的画布
ax = fig.add_subplot(111)#第二步 在画布中添加子图 这里参数111,也可以表示成1,1,1,表示添加的子图是1行1列在位置1
#如果参数是22X,则表示2行2列,这里X可以有1,2,3,4个取值,因为2行2列有4个位置
ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
#前两个参数表示对应点的坐标,s表示点的大小,c表示点的颜色,marker表示点的形状
#这个函数的作用是绘制散点图
ax.scatter(xcord2,ycord2,s=30,c='green')
x = arange(-3.0,3.0,0.1) #制作步长为0.1的数组
y = (-weights[0]-weights[1]*x)/weights[2] #w0+w1*x1+w2*x2=0 =>x2=(-w0-w1*x1)/w2
ax.plot(x,y) #将x,y表示的点画成一条线
plt.xlabel('X1');plt.ylabel('X2')
plt.show()
安装numpy和matplotlib可以在命令行中输入命令 pip3 install numpy/matplotlib
2.4训练算法:随机梯度上升
梯度上升算法在每次更新回归系数时都需要便利整个数据集,一种改进方法是一次仅用一个样本点来更新回归系数,该方法称为随机梯度上升算法
随机梯度上升算法代码如下:
def stockAscent0(dataMatrix,classLabels):
"""
随机梯度上升算法
"""
m,n = shape(dataMatrix)
alpha = 0.01
weights = ones(n)
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
error = classLabels[i] - h
weights = weights+alpha*error*(dataMatrix[i].transpose())
return weights
2.4随机梯度算法的改进
def stocGradAscent1(dataMatrix,classLabels,numIter = 150):
"""
随机梯度上升算法的改进
"""
m,n = shape(dataMatrix)
weights = ones(n)
for j in range(numIter):
dataIndex = list(range(m))
for i in range(m):
alpha = 4/(1.0+j+i)+0.01
randIndex = int(random.uniform(0,len(dataIndex)))
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error *dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights