从 0 开始机器学习 - 逻辑回归识别手写字符！

之前的逻辑回归文章：从 0 开始机器学习 - 逻辑回归原理与实战！跟大家分享了逻辑回归的基础知识和分类一个简单数据集的方法。

今天登龙再跟大家分享下如何使用逻辑回归来分类手写的 [0 - 9] 这 10 个字符，数据集如下：

下面我就带着大家一步一步写出关键代码，完整的代码在我的 Github 仓库中：logistic_reg

一、加载手写字符数据

1.1 读取数据集

raw_X, raw_y = load_data('ex3data1.mat')

# 5000 x 400
print(raw_X.shape)

# 5000
print(raw_y.shape)

数据集有 5000 个样本，每个样本是一个 20 x 20 = 400 像素的手写字符图像：

这个识别手写字符问题属于有监督学习，所以我们有训练集的真实标签 y，维度是 5000，表示训练集中 5000 个样本的真实数字：

1.2 添加全 1 向量

老规矩，在训练样本的第一列前添加一列全 1 的向量（为了与 ${\theta }_0$ 相乘进行向量化表示）：

# 添加第一列全 1 向量
X = np.insert(raw_X, 0, values = np.ones(raw_X.shape[0]), axis = 1)
# 5000 行 401 列
X.shape

添加一列后，样本变为 5000 行 401 列。

1.3 向量化标签

把原标签（5000 行 1 列）变为（5000 行 10 列），相当于把每个真实标签用 10 个位置的向量替换：

# 把原标签中的每一类用一个行向量表示
y_matrix = []

# k = 1 ... 10
# 当 raw_y == k 时把对应位置的值设置为 1，否则为 0
for k in range(1, 11):
    y_matrix.append((raw_y == k).astype(int))

改变后向量标签的每一行代表一个标签，只不过用 10 个位置来表示，比如数字 1 对应第一个位置为 1，数字 2 对应第二个位置为 1 ，以此类推，不过注意数字 0 对应第 10 个位置为 1：

而每一列代表原始标签值中所有相同的字符，比如第一列表示所有数字 1 的真实标签值，第二列表示所有数字 2 的真实标签值，以此类推，第 10 列表示数字 0 的真实值：

因为我们加载的是 .mat 类型的 Matlab 数据文件，而 Matlab 中索引是从 1 开始的，因此原数据集中用第 10 列表示数字 0，但是为了方便 Python 处理，我们这里把第 10 列表示的数字 0 移动到第一列，使得列数按照数字顺序 [0 - 9] 排列：

# 因为 Matlab 下标从 1 开始，所以 raw_y 中用 10 表示标签 0
# 这里把标签 0 的行向量移动到第一行
y_matrix = [y_matrix[-1]] + y_matrix[:-1]

这是原实验配的图片，原理是一样的，可以对比理解下（这里没有移动第 10 列哦）：

为何要这样做呢？主要是为了完成后面一次预测多个数字的任务。

二、训练模型

逻辑回归和正则化的原理之前都讲过了，没看过的同学可以复习下：

• 从 0 开始机器学习 - 逻辑回归原理与实战！
• 从 0 开始机器学习 - 正则化技术原理与编程!

这里我就直接放关键的函数，然后稍加解释下。

2.1 逻辑回归假设函数

假设函数使用常用的 sigmoid 函数：

$$g(z)=\frac{1}{1+e^{-z}}$$

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

2.2 逻辑回归代价函数

$$J(\theta )$$