matlab人脸识别_机器学习直播案例 | 基于卷积神经网络的人脸识别

最新推荐文章于 2024-04-26 23:29:43 发布

weixin_39947812

最新推荐文章于 2024-04-26 23:29:43 发布

阅读量414

点赞数 1

文章标签： matlab人脸识别人脸识别眼镜试戴代码

知乎视频www.zhihu.com

获取案例链接、直播课件、数据集请访问数据酷客社区版块。

卷积神经网络是一类典型的处理网格型数据的深度学习结构，在图像和视频处理等领域得到了广泛的应用。本案例采用 Olivetti Faces 人脸数据集进行训练，使用 TensorFlow 构建一个深度卷积神经网络对人脸进行识别。我们发现数据增强能够显著降低总体损失，提升神经网络性能。

1 Olivetti Faces 数据集探索

Olivetti Faces 是由纽约大学整理的一个人脸数据集。原始数据库可从(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html)。我们使用的是 Sklearn 提供的版本。该版本是纽约大学 Sam Roweis 的个人主页以 MATLAB 格式提供的。

数据集包括 40 个不同的对象，每个对象都有 10 个不同的人脸图像。对于某些对象，图像是在不同的时间、光线、面部表情（睁眼/闭眼、微笑/不微笑）和面部细节（眼镜/不戴眼镜）下拍摄。所有的图像都是在一个深色均匀的背景下拍摄的，被摄者处于直立的正面位置（可能有细微面部移动）。原始数据集图像大小为 $92 times 112$，而 Roweis 版本图像大小为 $64 times 64$。

首先使用 sklearn 的 datasets 模块在线获取 Olivetti Faces 数据集。

from sklearn.datasets import fetch_olivetti_faces
faces = fetch_olivetti_faces()

观察发现，该数据集包括四部分：
1）DESCR 主要介绍了数据的来源；
2）data 以一维向量的形式存储了数据集中的400张图像；
3）images 以二维矩阵的形式存储了数据集中的400张图像；
4）target 存储了数据集中400张图像的类别信息，类别分别为 0-39 。

下面进一步观察数据的结构与类型：

print("The shape of data:",faces.data.shape, "The data type of data:",type(faces.data))
print("The shape of images:",faces.images.shape, "The data type of images:",type(faces.images))
print("The shape of target:",faces.target.shape, "The data type of target:",type(faces.target))

The shape of data: (400, 4096) The data type of data:
The shape of images: (400, 64, 64) The data type of images:
The shape of target: (400,) The data type of target:

可见，数据都以 numpy.ndarray 形式存储。因为下一步我们希望搭建卷积神经网络来实现人脸识别，所以特征要用二维矩阵存储的图像，这样可以充分挖掘图像的结构信息。

随机选取部分人脸，使用 matshow 函数将其可视化。

import numpy as np
rndperm = np.random.permutation(len(faces.images)) #将数据的索引随机打乱
import matplotlib.pyplot as plt
%matplotlib inline
plt.gray()
fig = plt.figure(figsize=(9,4) )
for i in range(0,18):
    ax = fig.add_subplot(3,6,i+1 )
    plt.title(str(faces.target[rndperm[i]]))
    ax.matshow(faces.images[rndperm[i],:])
    plt.box(False) #去掉边框
    plt.axis("off")#不显示坐标轴
plt.tight_layout()

< Figure size 432x288 with 0 Axes >

查看同一个人的不同人脸的特点。

labels = [2,11,6] #选取三个人
%matplotlib inline
plt.gray()
fig = plt.figure(figsize=(12,4) )
for i in range(0,3):
    faces_labeli = faces.images[faces.target == labels[i]]
    for j in range(0,10):    
        ax = fig.add_subplot(3,10,10*i + j+1 )
        ax.matshow(faces_labeli[j])
        plt.box(False) #去掉边框
        plt.axis("off")#不显示坐标轴
plt.tight_layout()

< Figure size 432x288 with 0 Axes >

观察发现，每一个人的不同图像都存在角度、表情、光线,是否戴眼镜等区别，这种样本之间的差异性虽然提升了分类难度，但同时要求模型必须提取到人脸的高阶特征。

将数据集划分为训练集和测试集两部分，注意要按照图像标签进行分层采样。

# 定义特征和标签
X,y = faces.images,faces.target

# 以5:5比例随机地划分训练集和测试集
from sklearn.model_selection import train_test_split
train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.5,stratify = y,random_state=0)

# 记录测试集中出现的类别，后期模型评价画混淆矩阵时需要
#index = set(test_y)

import pandas as pd
pd.Series(train_y).value_counts().sort_index().plot(kind="bar")

<matplotlib.axes._subplots.AxesSubplot at 0x7fe3d7ee3780>

pd.Series(test_y).value_counts().sort_index().plot(kind="bar")

<matplotlib.axes._subplots.AxesSubplot at 0x7fe3e460e6d8>

# 转换数据维度
train_x = train_x.reshape(train_x.shape[0], 64, 64, 1)
test_x = test_x.reshape(test_x.shape[0], 64, 64, 1)

2 建立卷积神经网络人脸识别模型

2.1 设计 CNN 网络结构

卷积神经网络的结构如下：

2.2 使用 TensorFlow 搭建网络模型

从keras的相应模块引入需要的对象。

import warnings
warnings.filterwarnings('ignore') #该行代码的作用是隐藏警告信息
import tensorflow as tf
import tensorflow.keras.layers as layers
import tensorflow.keras.backend as K
K.clear_session()

逐层搭建卷积神经网络模型。

inputs = layers.Input(shape=(64,64,1), name='inputs')
conv1 = layers.Conv2D(32,3,3,padding="same",activation="relu",name="conv1")(inputs)
maxpool1 = layers.MaxPool2D(pool_size=(2,2),name="maxpool1")(conv1)
conv2 = layers.Conv2D(64,3,3,padding="same",activation="relu",name="conv2")(maxpool1)
maxpool2 = layers.MaxPool2D(pool_size=(2,2),name="maxpool2")(conv2)
flatten1 = layers.Flatten(name="flatten1")(maxpool2)
dense1 = layers.Dense(512,activation="tanh",name="dense1")(flatten1)
dense2 = layers.Dense(40,activation="softmax",name="dense2")(dense1)
model = tf.keras.Model(inputs,dense2)

网络结构打印。

model.summary()

_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
inputs (InputLayer) (None, 64, 64, 1) 0
_________________________________________________________________
conv1 (Conv2D) (None, 22, 22, 32) 320
_________________________________________________________________
maxpool1 (MaxPooling2D) (None, 11, 11, 32) 0
_________________________________________________________________
conv2 (Conv2D) (None, 4, 4, 64) 18496
_________________________________________________________________
maxpool2 (MaxPooling2D) (None, 2, 2, 64) 0
_________________________________________________________________
flatten1 (Flatten) (None, 256) 0
_________________________________________________________________
dense1 (Dense) (None, 512) 131584
_________________________________________________________________
dense2 (Dense) (None, 40) 20520
=================================================================
Total params: 170,920
Trainable params: 170,920
Non-trainable params: 0
_________________________________________________________________

2.3 模型训练与评估

模型编译，指定误差函数、优化方法和评价指标。使用训练集进行模型训练。

model.compile(loss='sparse_categorical_crossentropy', optimizer="Adam", metrics=['accuracy'])
model.fit(train_x,train_y, batch_size=20, epochs=30, validation_data=(test_x,test_y),verbose=2)

Train on 200 samples, validate on 200 samples
Epoch 1/30
- 0s - loss: 3.7260 - acc: 0.0150 - val_loss: 3.6806 - val_acc: 0.0250
Epoch 2/30
- 0s - loss: 3.6805 - acc: 0.0300 - val_loss: 3.6742 - val_acc: 0.1100
Epoch 3/30
- 0s - loss: 3.6662 - acc: 0.1350 - val_loss: 3.6588 - val_acc: 0.1150
Epoch 4/30
- 0s - loss: 3.6426 - acc: 0.0800 - val_loss: 3.6273 - val_acc: 0.1000
Epoch 5/30
- 0s - loss: 3.5949 - acc: 0.1700 - val_loss: 3.5741 - val_acc: 0.1300
Epoch 6/30
- 0s - loss: 3.4980 - acc: 0.2350 - val_loss: 3.4655 - val_acc: 0.2000
Epoch 7/30
- 0s - loss: 3.3606 - acc: 0.2500 - val_loss: 3.3279 - val_acc: 0.2200
Epoch 8/30
- 0s - loss: 3.0933 - acc: 0.3100 - val_loss: 3.0485 - val_acc: 0.2600
Epoch 9/30
- 0s - loss: 2.7727 - acc: 0.3800 - val_loss: 2.6984 - val_acc: 0.4200
Epoch 10/30
- 0s - loss: 2.3175 - acc: 0.5350 - val_loss: 2.3362 - val_acc: 0.5750
Epoch 20/30
- 0s - loss: 0.2614 - acc: 0.9850 - val_loss: 0.7359 - val_acc: 0.8100
Epoch 30/30
- 0s - loss: 0.0527 - acc: 1.0000 - val_loss: 0.6114 - val_acc: 0.8350

<tensorflow.python.keras.callbacks.History at 0x7fe4323dfb00 >

# 模型评价
score = model.evaluate(test_x, test_y)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

200/200 [==============================] - 0s 68us/step Test loss: 0.6113618850708008 Test accuracy: 0.835

3 使用 TensorFlow 进行数据增强

在深度学习中，为了防止过度拟合，我们通常需要足够的数据，当无法得到充分大的数据量时，可以通过图像的几何变换来增加训练数据的量。为了充分利用有限的训练集（只有320个样本），我们将通过一系列随机变换增加训练数据。

TensorFlow 提供一个图像预处理类 ImageDataGenerator能够帮助我们进行图像数据增强，增强的手段包括图像随机转动、水平偏移、竖直偏移、随机缩放等。

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 定义随机变换的类别及程度
datagen = ImageDataGenerator(
        rotation_range=0,            # 图像随机转动的角度
        width_shift_range=0.01,      # 图像水平偏移的幅度
        height_shift_range=0.01,     # 图像竖直偏移的幅度
        shear_range=0.01,            # 逆时针方向的剪切变换角度
        zoom_range=0.01,             # 随机缩放的幅度
        horizontal_flip=True,
        fill_mode='nearest')

下面我们使用增强后的数据集训练模型：

inputs = layers.Input(shape=(64,64,1), name='inputs')
conv1 = layers.Conv2D(32,3,3,padding="same",activation="relu",name="conv1")(inputs)
maxpool1 = layers.MaxPool2D(pool_size=(2,2),name="maxpool1")(conv1)
conv2 = layers.Conv2D(64,3,3,padding="same",activation="relu",name="conv2")(maxpool1)
maxpool2 = layers.MaxPool2D(pool_size=(2,2),name="maxpool2")(conv2)
flatten1 = layers.Flatten(name="flatten1")(maxpool2)
dense1 = layers.Dense(512,activation="tanh",name="dense1")(flatten1)
dense2 = layers.Dense(40,activation="softmax",name="dense2")(dense1)
model2 = tf.keras.Model(inputs,dense2)
model2.compile(loss='sparse_categorical_crossentropy', optimizer="Adam", metrics=['accuracy'])

# 训练模型
model2.fit_generator(datagen.flow(train_x, train_y, batch_size=200),epochs=30,steps_per_epoch=16, verbose = 2,validation_data=(test_x,test_y))
# 模型评价
score = model2.evaluate(test_x, test_y)
print('Test score:', score[0])
print('Test accuracy:', score[1])

Epoch 1/30
- 2s - loss: 3.6127 - acc: 0.1259 - val_loss: 3.4831 - val_acc: 0.4050
Epoch 2/30
- 2s - loss: 2.9577 - acc: 0.6600 - val_loss: 2.3738 - val_acc: 0.6150
Epoch 3/30
- 2s - loss: 1.4588 - acc: 0.8306 - val_loss: 1.3099 - val_acc: 0.7100
Epoch 4/30
- 2s - loss: 0.5563 - acc: 0.9272 - val_loss: 0.7965 - val_acc: 0.7950
Epoch 5/30
- 2s - loss: 0.2293 - acc: 0.9781 - val_loss: 0.5908 - val_acc: 0.8250
Epoch 6/30
- 2s - loss: 0.1071 - acc: 0.9963 - val_loss: 0.5207 - val_acc: 0.8350
Epoch 7/30
- 2s - loss: 0.0643 - acc: 0.9997 - val_loss: 0.4690 - val_acc: 0.8550
Epoch 8/30
- 2s - loss: 0.0422 - acc: 0.9997 - val_loss: 0.4786 - val_acc: 0.8500
Epoch 9/30
- 2s - loss: 0.0301 - acc: 1.0000 - val_loss: 0.4115 - val_acc: 0.8950
Epoch 10/30
- 2s - loss: 0.0245 - acc: 1.0000 - val_loss: 0.4233 - val_acc: 0.8850
Epoch 20/30
- 2s - loss: 0.0048 - acc: 1.0000 - val_loss: 0.3906 - val_acc: 0.9000
Epoch 30/30
- 2s - loss: 0.0023 - acc: 1.0000 - val_loss: 0.3913 - val_acc: 0.9100
200/200 [==============================] - 0s 77us/step
Test score: 0.39134696759283544
Test accuracy: 0.91

可以看到，数据增强后，模型效果得到提升。

4 总结

本案例我们使用一份人脸数据集，借助 TensorFlow 构建了卷积神经网络用于人脸识别，同时对比了数据增强对模型效果的影响。本案例使用的主要 Python 工具，版本和用途列举如下。如果在本地运行遇到问题，请检查是否是版本不一致导致。

→ 机器学习十讲视频回放

数据科学人工智能：视频回放|机器学习第一讲：机器学习介绍zhuanlan.zhihu.com

数据科学人工智能：视频回放|机器学习第二讲：回归zhuanlan.zhihu.com

数据科学人工智能：视频回放 | 机器学习第三讲：分类zhuanlan.zhihu.com

数据科学人工智能：视频回放 | 机器学习第四讲：模型提升zhuanlan.zhihu.com

数据科学人工智能：视频回放 | 机器学习第六讲：降维zhuanlan.zhihu.com

数据科学人工智能：视频回放 | 机器学习第九讲：深度学习zhuanlan.zhihu.com

数据科学人工智能：视频回放 | 机器学习第十讲：强化学习zhuanlan.zhihu.com

→ 机器学习十讲直播案例

数据科学人工智能：直播案例 | 使用KNN对新闻主题进行自动分类zhuanlan.zhihu.com

数据科学人工智能：直播案例 | 使用PageRank对全球机场进行排序zhuanlan.zhihu.com

数据科学人工智能：机器学习直播案例|使用回归模型预测鲍鱼年龄zhuanlan.zhihu.com

数据科学人工智能：机器学习直播案例|使用感知机、逻辑回归、支持向量机进行中文新闻主题分类zhuanlan.zhihu.com

weixin_39947812

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫