Andrew Ng 机器学习——Logistic Regression及其python实现

Sigmoid函数

首先介绍一下Sigmoid这个神奇的函数:
g(x)=11+expx
其图像如下:
这里写图片描述
由图像可知,Sigmoid函数的值域在[0,1]之间,这对我们要做的分类是极其好的,因为我们完全可以从概率的角度来进行分类,单属于一个类的概率大于0.5时,我们就可以判定目标属于这个类。这里写图片描述
我们需要理解的是,Logistic Regression针对的是一个分类问题,而不是回归问题,之所以其名叫回归,主要是因为这个算法也是从线性回归中推出来的:
这里写图片描述
实际上只是换了我们线性回归的假设函数,其求解方法也是使用梯度下降算法(当然也可以用Conjugate Gradient、BFGS和L-BFGS算法,但这不是我们这次的重点)。
对于Logistic Regression算法,这里有个博客解释的很好:
Logistic Regression
我们的主要迭代步骤如下(求偏导的方法可以用参数替换来求):
这里写图片描述


Python实现

首先把效果图放出来(只迭代了100次,迭代次数多了,生成的GIF图太大了。。。):

代码如下:

# encoding:utf-8
###################
# Logistic Regression
# Author : FC
# Date : 2018/1/3
###################

from matplotlib import pyplot as plt
from matplotlib import animation
from numpy import *


#  读取.txt文件
def loadDataSet():
    dataMat = []
    labelMat = []
    fr = open('DataSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()  # strip()函数删除空格,split()函数分割字符串存入到lineArr列表中
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])  # 这里的1.0是因为x0默认取1,整个运算过程是采用向量化计算
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat

# sigmoid函数
def sigmoid(inX):
    return 1/(1+exp(-inX))

# 梯度下降
def gradAscent(dataMatIn, classLabels, weights):
    # 向量化计算
    dataMatrix = mat(dataMatIn)
    classMatrix = mat(classLabels).transpose()
    weightsMatrix = mat(weights)
    h = sigmoid(dataMatrix*weightsMatrix)
    weightsMatrix = weightsMatrix-alpha*dataMatrix.transpose()*(h-classMatrix)
    return weightsMatrix
# 代价函数,用作收敛的判断
def costFunc(dataIn, labelIn, weights):
    errorCal = 0
    dataMatrix = mat(dataIn)
    weightsMatrix = mat(weights)
    h = sigmoid(dataMatrix * weightsMatrix)
    for i in range(m):
        errorCal += labelIn[i]*log(h[i])+(1-labelIn[i])*log(1-h[i])
    return errorCal

# 第一帧图像
def init():
    line.set_data([], [])
    x1=[]
    y1=[]
    x2 = []
    y2 = []
    for i in range(m):
        if datalabel[i] == 0:
            x1.append(float(data[i][1]))
            y1.append(float(data[i][2]))
        else:
            x2.append(float(data[i][1]))
            y2.append(float(data[i][2]))

    plt.plot(x1,y1,'ro')
    plt.plot(x2,y2,'g*')
    plt.grid(True)
    plt.xlabel('x')
    plt.ylabel('y')
    plt.title('Logistic Regression')
    return line, label

# 动作图像,横坐标是X1,z纵坐标是X2
def animate(i):
    x1 = -2
    x2 = 2
    y1 = -(float(Parm[i][0])-float(Parm[i][1])*x1)/float(Parm[i][2])
    y2 = -(float(Parm[i][0])-float(Parm[i][1])*x1)/float(Parm[i][2])
    line.set_data([x1, x2], [y1, y2])
    return line, label

# 初始化学习率,迭代阈值
alpha = 0.001
cnt = 0
esp = 0.001
error = 0
errorPre = 0
data, datalabel = loadDataSet()
m, n = shape(data)
theta = ones((n, 1))
Parm = []
Parm.append(theta)
for i in range(100):
    cnt += 1
    errorPre = costFunc(data, datalabel, theta)
    if abs(error - errorPre) < esp:
        break
    else:
        error = errorPre
    #  更新theta
    theta = gradAscent(data, datalabel, theta)
    Parm.append(theta)

# 画出动态图
fig,ax=plt.subplots()
line, = ax.plot([], [], 'g', lw=2)
label = ax.text([], [], '')

print(cnt)
init()
anim = animation.FuncAnimation(fig, animate, init_func=init, frames=cnt, interval=200, repeat=False, blit=True)

plt.show()
anim.save('LogisticRegression.gif', fps=4, writer='imagemagick')









评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小方爱自律

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值