Facial alignment with imutils

转载自：CH.Tseng

在取得了facial landmarks之後，我們便可以利用這些偵測點將臉部align。目前業界針對Face alignment的方法可分為2D與3D alignment，2D分法簡單直覺且為目前的主流，至於3D還在發展中且屬於各家機密，尚沒有一套固定的法則。

Imutils的alignment

還記得前一陣子AI界有個大新聞嗎？就是透過Kickstarter為自己的Deep learning新書幕得超過二十六萬美元的Adrian Rosebrock，這篇文章詳細說明了他如何使用Dlib的68個landmarks來進行face alignment：Face Alignment with OpenCV and Python。

Adrian的face align方式是：
a).將臉部置放於相片中點
b).旋轉臉部讓雙眼置於相同水平線
c).將臉部縮放至適合的大小

Adrian Rosebrock也將這align steps寫成module放在他的開源imutils套件中，下方的程式示範了如何使用imutils套件的Face alignment功能。不過由於該模組在align之後臉孔周圍保留的padding過大，使得輸出臉孔包含了不必要的頭部及頸部，因此我稍微修改了部份程式，在align face之後再進行一次face detect的動作，以去除不需要的非臉部範圍。

下方程式中，使用Dlib的dlib.get_frontal_face_detector偵測並取得相片中人物的臉部，再將臉部區域交給imutils.face_utils的rect_to_bb取得x, y, w, h值，用以將臉部圖片縮放至指定的大小，最後送至FaceAligner輸出align的臉部圖片。

shape_predictor_68_face_landmarks.dat下载链接: https://pan.baidu.com/s/10ZZNw86SqZL3-0D2XqC6tg 提取码: p2fc

import cv2
import dlib
import numpy as np
from imutils.face_utils import FaceAligner
from imutils.face_utils import rect_to_bb
import imutils

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
fa = FaceAligner(predictor, desiredFaceWidth=256)

# load the input image, resize it, and convert it to grayscale
filename = "2985256877_1.jpg"
image = cv2.imread(filename)
image = imutils.resize(image, width=1200)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# show the original input image and detect faces in the grayscale
# image
rects = detector(gray, 2)
i = 0
# loop over the face detections
for rect in rects:
    # extract the ROI of the *original* face, then align the face using facial landmarks
    (x, y, w, h) = rect_to_bb(rect)
    faceOrig = imutils.resize(image[y:y + h, x:x + w], width=256)
    faceAligned = fa.align(image, gray, rect)
    # display the output images
    cv2.imwrite(filename[:-4] + "-org-" + str(i) + ".jpg", faceOrig)
    cv2.imwrite(filename[:-4] + "-ali-" + str(i) + ".jpg", faceAligned)

    landmarks = np.matrix([[p.x, p.y] for p in predictor(image, rect).parts()])
    for idx, point in enumerate(landmarks):
        # 68点的坐标
        pos = (point[0, 0], point[0, 1])
        print(idx + 1, pos)
        # 利用cv2.circle给每个特征点画一个圈，共68个
        cv2.circle(image, pos, 2, color=(0, 255, 0))
        # 利用cv2.putText输出1-68
        font = cv2.FONT_HERSHEY_SIMPLEX
        cv2.putText(image, str(idx + 1), pos, font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
    cv2.imwrite(filename[:-4] + "-landmark-" + str(i) + ".jpg", image)
    # cv2.namedWindow("img", 2)
    # cv2.imshow("img", image)
    # cv2.waitKey(0)

    i += 1