Python实现逻辑回归

逻辑回归介绍

逻辑回归常用来做分类任务，下面我用纯python代码实现一个简单的二分类任务。

代码

# coding=utf-8
import math
import random
import matplotlib.pyplot as plt

# 保存随机生成的点。x：坐标，y：标签
x, y = [], []
# 将不同标签的点分别保存在两个list，用于最后画图
x_test1, x_test2 = [], []

# 随机生成50个点，已x1 + x2 - 1 = 0这条直线分为两类分别打上标签
for i in range(0, 50):
    x1 = random.random()
    x2 = random.random()
    x.append([x1, x2])
    if x1 + x2 - 1 > 0:
        y.append(1)
        x_test1.append([x1, x2])
    else:
        y.append(0)
        x_test2.append([x1, x2])

lr = 0.5

w1, w2, b = 0, 0, 0
m = len(x)
for i in range(0, 10000):
    b_grad, w1_grad, w2_grad = 0, 0, 0

    for j in range(0, m):
        x1 = x[j][0]
        x2 = x[j][1]
        y_ = y[j]
        # 这里使用的sigmoid分类函数
        b_grad += -(1 / (1 + math.e ** (-(w1 * x1 + w2 * x2 + b))) - y_)
        w1_grad += -x1 * (1 / (1 + math.e ** (-(w1 * x1 + w2 * x2 + b))) - y_)
        w2_grad += -x2 * (1 / (1 + math.e ** (-(w1 * x1 + w2 * x2 + b))) - y_)
    b += lr * b_grad / m
    w1 += lr * w1_grad / m
    w2 += lr * w2_grad / m
# 画原始数据点
plt.plot([x[0] for x in x_test1], [x[1] for x in x_test1], 'ro')
plt.plot([x[0] for x in x_test2], [x[1] for x in x_test2], 'gx')
# 划拟合的分类直线
plt.plot([0, -b / w1], [- b / w2, 0], 'r')
plt.show()

执行结果

我的github上有我的全部学习笔记，欢迎一起学习。github地址：https://github.com/js1219/ML-Learning-Notes.git