使用深度学习进行图像分类

使用深度学习进行图像分类

解决任何真实问题的重要一步是获取数据。Kaggle提供了大量不同数据科学问题的竞赛。我们将挑选一个2014年提出的问题，然后使用这个问题测试本章的深度学习算法，并在第5章中进行改进，我们将基于卷积神经网络（CNN）和一些可以使用的高级技术来改善图像识别模型的性能。大家可以从https://www.kaggle.com/c/dogs-vs-cats/data下载数据。数据集包含25,000张猫和狗的图片。在实现算法前，预处理数据，并对训练、验证和测试数据集进行划分是需要执行的重要步骤。数据下载完成后，可以看到对应数据文件夹包含了如图3.6所示的图片。

 

图3.6

当以图3.7所示的格式提供数据时，大多数框架能够更容易地读取图片并为它们设置标签的附注。也就是说每个类别应该有其所包含图片的独立文件夹。这里，所有猫的图片都应位于cat文件夹，所有狗的图片都应位于dog文件夹。

 

图3.7

Python可以很容易地将数据调整成需要的格式。请先快速浏览一下代码，然后，我们将讲述重要的部分。

上述代码所做的处理，就是获取所有图片文件，并挑选出2,000张用于创建验证数据集。它把图片划分到了cats和dogs这两个类别目录中。创建独立的验证集是通用的重要实践，因为在相同的用于训练的数据集上测试算法并不合理。为了创建validation数据集，我们创建了一个图片数量长度范围内的数字列表，并把图像无序排列。在创建validation数据集时，我们可使用无序排列的数据来挑选一组图像。让我们详细解释一下每段代码。

下面的代码用于创建文件：

glob方法返回特定路径的所有文件。当图片数量巨大时，也可以使用iglob，它返回一个迭代器，而不是将文件名载入到内存中。在我们的例子中，只有25,000个文件名，可以很容易加载到内存里。