深度学习实战（十一）——多标签分类（基于Keras）

目的：

      训练一个分类器来将物品分到不同的类别中，比如一件衣服：可以安照服饰类别、颜色、质地打上“衬衫”、“蓝色”、“棉”的标签

服饰类别：衬衫、裙子、裤子、鞋类等

颜色：红、蓝、黑等

质地：棉、羊毛、丝、麻等

整个工程的步骤如下：

1. 首先讨论多标签分类数据集（以及如何快速构建自己的数据集）。
2. 之后简要讨论SmallerVGGNet，我们将实现的Keras神经网络架构，并用于多标签分类。
3. 然后我们将实施SmallerVGGNet并使用我们的多标签分类数据集对其进行训练。
4. 最后，我们将通过在示例图像上测试我们的网络，并讨论何时适合多标签分类，包括需要注意的一些注意事项。

这里给出的是项目的文件结构 

├── classify.py
├── dataset
│   ├── black_jeans [344 entries
│   ├── blue_dress [386 entries]
│   ├── blue_jeans [356 entries]
│   ├── blue_shirt [369 entries]
│   ├── red_dress [380 entries]
│   └── red_shirt [332 entries]
├── examples
│   ├── example_01.jpg
│   ├── example_02.jpg
│   ├── example_03.jpg
│   ├── example_04.jpg
│   ├── example_05.jpg
│   ├── example_06.jpg
│   └── example_07.jpg
├── fashion.model
├── mlb.pickle
├── plot.png
├── pyimagesearch
│   ├── __init__.py
│   └── smallervggnet.py
├── search_bing_api.py
└── train.py

我们将用到的重要文件（基于它们本文出现的大致顺序）包括：

• search_bing_api.py：此脚本使我们能够快速构建深度学习图像数据集。你不需要运行这段脚本因为图片数据集已经囊括在zip文件中。我附上这段脚本仅为保证（代码的）完整性。
• train.py：一旦我们拥有了数据，我们将应用train.py训练我们的分类器。
• fashion.model：我们的train.py脚本将会将我们的Keras模型保存到磁盘中。我们将在之后的classify.py脚本中用到它。
• mlb.pickle：一个由train.py创建的scikit-learn MultiLabelBinarizer pickle文件——该文件以顺序数据结构存储了各类别名称。
• plot.png：训练脚本会生成一个名为plot.png的图片文件。如果你在你自己的数据集上训练，你便需要查看这张图片以获得正确率/风险函数损失及过拟合情况。
• classify.py：为了测试我们的分类器，我写了classify.py。在你将模型部署于其他地方（如一个iphone的深度学习app或是树莓派深度学习项目）之前，你应该始终在本地测试你的分类器。

本项目中的三个文件夹为：

• dataset：该文件夹包含了我们的图片数据集。每个类别拥有它自己的子文件夹。我们这样做以保证（1）我们的数据在结构上工整有序（2）在给定图片路径后能更容易地提取类别标签名称。
• pyimagesearch：这是装有我们的Keras神经网络的模块。由于这是一个模块，它包含了固定格式的__init__.py。另外一个文件smallervggnet.py，它包含组装神经网络本身的代码。
• examples：该文件夹包含了7个样例图片。我们将基于keras，应用classify.py对每一个样例图片执行多标签分类。

---

一、数据集准备

数据集包含六个类别的2,167个图像，包括：

黑色牛仔裤（344图像）
蓝色连衣裙（386图像）
蓝色牛仔裤（356图像）
蓝色衬衫（369图像）
红色连衣裙（380图像）
红色衬衫（332图像）

6类图像数据可以通过python爬虫在网站上抓取得到。

                              

        为了方便起见，可以通过使用Bing图像搜索API（Microsoft’s Bing Image Search API）建立图像数据，具体配置过程见这里（需要在线注册获得api key，使用key进行图像搜索），创建图片搜索文件search_bing_api.py，代码：

# import the necessary packages
from requests import exceptions
import argparse
import requests
import cv2
import os
 
# construct the argument parser and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-q", "--query", required=True,
	help="search query to search Bing Image API for")
ap.add_argument("-o", "--output", required=True,
	help="path to output directory of images")
args = vars(ap.parse_args())
 
# set your Microsoft Cognitive Services API key along with (1) the
# maximum number of results for a given search and (2) the group size
# for results (maximum of 50 per request)
API_KEY = "YOUR_API_KEY_GOES_HERE"
MAX_RESULTS = 250
GROUP_SIZE = 50
 
# set the endpoint API URL
URL = "https://api.cognitive.microsoft.com/bing/v7.0/images/search"
 
# when attempting to download images from the web both the Python
# programming language and the requests library have a number of
# exceptions that can be thrown so let's build a list of them now
# so we can filter on them
EXCEPTIONS = set([IOError, FileNotFoundError,
	exceptions.RequestException, exceptions.HTTPError,
	exceptions.ConnectionError, exceptions.Timeout])
 
# store the search term in a convenience variable then set the
# headers and search parameters
term = args["query"]
headers = {"Ocp-Apim-Subscription-Key" : API_KEY}
params = {"q": term, "offset": 0, "count": GROUP_SIZE}
 
# make the search
print("[INFO] searching Bing API for '{}'".format(term))
search = requests.get(URL, headers=headers, params=params)
search.raise_for_status()
 
# grab the results from the search, including the total number of
# estimated results returned by the Bing API
results = search.json()
estNumResults = min(results["totalEstimatedMatches"], MAX_RESULTS)
print("[INFO] {} total results for '{}'".format(estNumResults,
	term))
 
# initialize the total number of images downloaded thus far
total = 0
 
# loop over the estimated number of results in `GROUP_SIZE` groups
for offset in range(0, estNumResults, GROUP_SIZE):
	# update the search parameters using the current offs