一、两者的区别
回归和分类是机器学习中两种基本的预测任务类型。
回归:回归旨在预测连续的数值。这些数值可以是无限的,回归模型的输出是一个连续的数值。
分类:分类旨在预测离散的标签或类别。这些标签是有限,如垃圾邮件与非垃圾邮件。分类模型的输出是类别标签(可以是二分类或者多分类)。
二、逻辑回归
2.1概念及公式
逻辑回归虽说叫回归,但是是分类问题。逻辑回归通过计算输入特征的线性组合,使用Sigmoid函数将输出值压缩到0和1之间,表示某个类别发生的概率。通过设定一个阈值(比如0.5),可以将概率转换为类别输出。逻辑回归通常用于估计对象属于某一类别的概率,这是一个典型的分类任务。
事件的几率:指该事件的概率与该事件不发生的概率的比值。
对数几率:
logit(p)= logp/(1-p)
输入特征值的线性表达式:
logit(p) = w0x0+w1x1+.....+wnxn = wixi = wx
logp/(1-p) = x
对上式取反得:
p = 1/1+
2.2逻辑回归实例:
import numpy as np
def loadDataSet():
dataMat = []
labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1 + np.exp(-inX))
def gradAscent(dataMatIn,classlabels):
dataMatrix = np.mat(dataMatIn)
labelMat = np.mat(classlabels).transpose()
m,n = np.shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = np.ones((n,1))
for k in range(maxCycles):
h = sigmoid(dataMatrix*weights)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose()*error
return weights
dataArr,labelMat = loadDataSet()
print(dataArr)
print(labelMat)
weights1 = gradAscent(dataArr,labelMat)
print(weights1)
def plotBestFit(wei):
import matplotlib.pyplot as plt
weights = wei
dataMat,labelMat = loadDataSet()
dataArr = np.array(dataMat)
n = np.shape(dataArr)[0]
xcord1 = [];ycord1 = []
xcord2 = [];ycord2 = []
for i in range(n):
if int(labelMat[i])==1:
xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
else:
xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xcord1,ycord1,s = 30,c = 'red',marker='s')
ax.scatter(xcord2,ycord2,s=30,c='green')
x = np.arange(-3.0,3.0,0.1)
y = (-weights[0]-weights[1]*x)/weights[2]
ax.plot(x,y)
plt.xlabel('x1');plt.ylabel('x2')
plt.show()
plotBestFit(weights1.getA())
2.3分类结果:
可以看得出,分类错分了2-5个点,效果比较好。但是尽管数据集比较少,这个算法仍然需要很大的计算(300次乘法),所以下面对其稍作改进。
三、对算法改进
3.1改进算法:
def stocGradAscent0(dataMatrix,classlabels):
m,n = np.shape(dataMatrix)
alpha = 0.01
weights = np.ones(n)
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
error = classlabels[i] - h
weights = weights + alpha * error * dataMatrix[i]
return weights
weights = stocGradAscent0(np.array(dataArr),labelMat)
plotBestFit(weights)
3.2 效果图:
从效果图可以看得出来,效果并不理想。
3.3将算法迭代150次:
def stocGradAscent0(dataMatrix,classlabels,numIter = 150):
m,n = np.shape(dataMatrix)
weights = np.ones(n)
for j in range(numIter):
dataIndex = list(range(m))
for i in range(m):
alpha = 4/(1.0+j+i)+0.01
randIndex = int(np.random.uniform(0,len(dataIndex)))
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classlabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
return weights
weights2 = stocGradAscent0(np.array(dataArr),labelMat)
plotBestFit(weights2)
3.4最后效果:
最后的分类效果很好,达到了理想状态。
3.5改进的地方
1、alpha在每次迭代的时候都会调整,这会缓解数据波动
2、通过随机选取样本来更新回归系统,这样会减少周期性波动
3.6比较
随机梯度上升算法与梯度上升算法的效果差不多,但是占用的计算机资源更少。而且随机梯度上升算法是一个在线算法,它可以在新数据到来时就完成参数的更新,而不需要重新读取整个数据集来进行批处理运算。
可以看的出来,改进后的随机梯度上升算法随着迭代次数的增加回归系数与迭代系数关系更加接近阶跃函数曲线。