OpenCV机器学习-人脸识别

一 基本概念

1 计算机视觉与机器学习的关系

计算机视觉是机器学习的一种应用，而且是最有价的应用。

2 人脸识别

哈尔(haar)级联方法
Harr是专门为解决人脸识别而推出的；
在深度学习还不流行时，Harr已可以商用；
深度学习方法（DNN）

3 Haar人脸识别步骤

创建Haar级联器
导入图片并将其灰度化
调用detectMultiScale方法进行人脸识别

detectMultiScale

detectMultiScale(img,
double scaleFactor=1.1,
int minNeighbors=3,
...)

import cv2
import numpy as np

# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')

# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# 第三步 进行人脸识别
faces=facer.detectMultiScale(gray,1.1,5)

for(x,y,w,h)in faces:
    cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255))

cv2.imshow('img',img)
cv2.waitKey(0)

4 其他脸部特征的检测

眼

import cv2
import numpy as np

# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')

eye=cv2.CascadeClassifier('./haarcascades/haarcascade_eye.xml')

# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# 第三步 进行人脸识别
faces=facer.detectMultiScale(gray,1.1,5)
for(x,y,w,h)in faces:
    cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255),2)

eyes = eye.detectMultiScale(gray, 1.1, 3)
for (x, y, w, h) in eyes:
    cv2.rectangle(img, (x, y), (x + w, y + w), (0, 0, 255),2)

cv2.imshow('img',img)
cv2.waitKey(0)

鼻

import cv2
import numpy as np

# 第一步 创建Haar级联器
facer=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_default.xml')

eye=cv2.CascadeClassifier('./haarcascades/haarcascade_eye.xml')

mouth=cv2.CascadeClassifier('./haarcascades/haarcascade_mcs_mouth.xml')

nose=cv2.CascadeClassifier('./haarcascades/haarcascade_mcs_nose.xml')

# 第二步 导入人脸识别图片并将其灰度化
img=cv2.imread('p3.png')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# 第三步 进行人脸识别

#检测出的人脸再检测眼睛
faces=facer.detectMultiScale(gray,1.1,5)
i=0
for(x,y,w,h)in faces:
    cv2.rectangle(img,(x,y),(x+w,y+w),(0,0,255),2)
    roi_img=img[y:y+h,x:x+w]
    eyes = eye.detectMultiScale(roi_img, 1.1, 3)
    for (x, y, w, h) in eyes:
         cv2.rectangle(roi_img, (x, y), (x + w, y + w), (0, 0, 255),2)
    i=i+1
    winname='face'+str(i)
    cv2.imshow(winname,roi_img)

#mouths = mouth.detectMultiScale(gray, 1.1, 3)
#for (x, y, w, h) in mouths:
#    cv2.rectangle(img, (x, y), (x + w, y + w), (255, 0, 0), 2)

#noses = nose.detectMultiScale(gray, 1.1, 3)
#for (x, y, w, h) in noses:
#    cv2.rectangle(img, (x, y), (x + w, y + w), (255, 255, 0), 2)

cv2.imshow('img',img)
cv2.waitKey(0)

二 车牌识别的具体步骤

通过Haar定位车牌的大体位置；
对车牌进行预处理；
调用tesseract进行文字识别；

1 车牌预处理包括的内容

对车牌进行二值化处理；
进行形态学处理；
滤波去噪点；
缩放；

2 Tesseract的安装

brew install tesseract tesseract-lang
pip3 install pytesseract

import cv2
import numpy as np

import pytesseract

plate=cv2.CascadeClassifier('./haarcascades/haarcascade_russian_plate_number.xml')
img=cv2.imread('./chinacar.jpeg')

gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

plates=plate.detectMultiScale(gray,1.1,3)

for(x,y,w,h) in plates:
    cv2.rectangle(img,(x,y),(x+w,y+h),(0,0,255),2)

#对获取到车牌进行预处理
#1.提取ROI
roi=gray[y:y+h,x:x+w]
#进行二值化
ret,roi_bin=cv2.threshold(roi,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)

print(pytesseract.image_to_string(roi,lang='chi_sim+eng',config='--psm 8 --oem 3'))

cv2.imshow('roi_bin',roi_bin)
cv2.imshow('img', img)
cv2.waitKey()

三 深度学习

1 DNN

2 RNN

3 RNN主要用途

语音识别
机器翻译
生产图像描述

4 CNN

5 CNN主要用途

图片分类、检索
目标定位检测
目标分割
人脸识别

四 DNN实现图像分类

1 DNN 使用步骤

读取模型，并得到深度神经网络；
读取图片/视频；
将图片转成张量，送入深度神经网络；
进行分析得到结果

2 导入模型

readNetFromTensorflow
readNetFromCaffe
readnetDarknet,YOLO
readNet

3 导入模型API参数

readNetFromTensorFlow(model,config)
readNetFromCaffe/Darknet(config,model)
readNet(model,[config,[framework]])

4 blobFromImage函数

将图像转成张量

blobFromImage(image,
scalefactor=1.0,
size=Size(),
mean=Scalar(),
swapRB=false,
swapRB=false,
crop=false...) 

mean的含义

5 将张量送入网络并执行

net.setInput(blob)
net.forward()

import cv2
from cv2 import dnn
import numpy as np

#导入模型，创建神经网络
config="./model/bvlc_googlenet.protoxt"
model="./model/bvlc_googlenet.caffemodel"
net=dnn.readNetFromCaffe(config,model)
#读图片，转成张量
img=cv2.imread('./smallcat.jpeg')
blob=dnn.blobFromImage(img,
                  1.0
                  (224,224),
                  (104,117,123))
#将张量输入到网络中，并进行预测
net.setInput(blob)
r=net.forward()

#读net.forwar()

#读取类目
classes=[]
path='./model/synset_words.txt'
with open(path,'rt') as f:
    classes =[x[x.find(" ")+1:]for x in f]
order=sorted(r[0],reverse=True)

z=list(range(3))
for i in range(0,3):
    z[i]=np.where(r[0]==order[i])[0][0]
    print('第',i+1, '项，匹配：',classes[z[i]],end='')
    print('类所在行：',z[i]+1,' ','可能性：',order[i])




#得到结果，显示