Python: 利用logstic逻辑回归实现手写数字识别

之前实现手写数字识别都是用的框架，就很快写好了，这次ML作业要求用原理来写，在网上看了看资料，感觉比较少。

---

1. 逻辑回归的简单介绍

logistic一般用于二分类，就利用sigmoid函数进行激励即可。若要想利用实现多分类，则需要多次使用逻辑回归。就好比手写数字识别，一共有十个类别，对于数字0来说，需要判断是0还是非0这个二分类，对于1也是如此，所以需要使用十次逻辑回归。

逻辑回归总的来说就是需要求得参数w

2. 逻辑回归的Python实现

import torch  # import some related modules
import torchvision
import scipy.optimize as op
import matplotlib.pyplot as plt
import numpy as np


def sigmoid(x):  #motivation function
    return 1 / (1 + np.exp(-x))



def loss(theta, x_data, y_data, lr):  # computing loss function
    m, n = x_data.shape
    theta = theta.reshape((-1, 1))
    y_data = y_data.reshape((-1, 1))
    hx = sigmoid(np.dot(x_data, theta))
    ln_h = np.log(hx)
    part1 = -np.dot(ln_h.T, y_data) / m
    ln_1h = np.log(1 - hx)
    part2 = -np.dot(ln_1h.T, 1 - y_data) / m
    #  don't do that : theta[0, 0] = 0  # don't penalize theta0
    reg