python多元逻辑回归_Python机器学习的练习四：多元逻辑回归

Python机器学习的练习系列共有八个部分：

在Python机器学习的练习第3部分中，我们实现了简单的和正则化的逻辑回归。但我们的解决方法有一个限制—它只适用于二进制分类。在本文中，我们将在之前的练习中扩展我们的解决方案，以处理多级分类问题。

在语法上快速标注，为了显示语句的输出，我在代码块中附加了一个“>”，以表明它是运行先前语句的结果。如果结果很长(超过1-2行)，那么我就把它粘贴在代码块的另一个单独的块中。希望可以清楚的说明哪些语句是输入，哪些是输出。

此练习中的任务是使用逻辑回归来识别手写数字(0-9)。首先加载数据集。与前面的示例不同,我们的数据文件是MATLAB的本体格式，不能被pandas自动识别，所以把它加载在Python中需要使用SciPy utility。

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from scipy.io import loadmat

%matplotlib inline

data = loadmat('data/ex3data1.mat')

data

{'X': array([[ 0., 0., 0., ..., 0., 0., 0.],

[ 0., 0., 0., ..., 0., 0., 0.],

[ 0., 0., 0., ..., 0., 0., 0.],

...,

[ 0., 0., 0., ..., 0., 0., 0.],

[ 0., 0., 0., ..., 0., 0., 0.],

[ 0., 0., 0., ..., 0., 0., 0.]]),

'__globals__': [],

'__header__': 'MATLAB 5.0 MAT-file, Platform: GLNXA64, Created on: Sun Oct 16 13:09:09 2011',

'__version__': '1.0',

'y': array([[10],

[10],

[10],

...,

[ 9],

[ 9],

[ 9]], dtype=uint8)}

快速检查加载到储存器中的矩阵的形状

data['X'].shape, data['y'].shape

> ((5000L, 400L), (5000L, 1L))

我们已经加载了我们的数据。图像在martix X 被表现为400维的向量。这400个“特征”是原始20×20图像中每个像素的灰度强度。类标签在向量y中表示图像中数字的数字类。下面的图片给出了一些数字的例子。每个带有白色手写数字的灰色框代表我们数据集中400维的行。

我们的第一个任务是修改逻辑回归的实现以完全向量化(即没有“for”循环)，这是因为矢量化代码除了简洁扼