python使用opencv_教你快速使用OpenCV/Python/dlib進行眨眼檢測識別！

摘要： 影象識別的新思路：眼睛縱橫比，看看大牛如果用這種思路玩轉識別眨眼動作！

今天我們來使用面部標誌和OpenCV 檢測和計算視訊流中的眨眼次數。為了構建我們的眨眼檢測器，我們將計算一個稱為眼睛縱橫比（EAR）的指標，由Soukupová和Čech在其2016年的論文“使用面部標誌實時眼睛眨眼檢測”中介紹。

今天介紹的這個方法與傳統的計算眨眼影象處理方法是不同的，使用眼睛的長寬比是更為簡潔的解決方案，它涉及到基於眼睛的面部標誌之間的距離比例是一個非常簡單的計算。

用OpenCV，Python和dlib進行眼睛眨眼檢測

我們的眨眼檢測實驗分為四個部分：

第一步，我們將討論眼睛的縱橫比以及如何用它來確定一個人是否在給定的視訊幀中閃爍。

第二步，我們將編寫Python，OpenCV和dlib程式碼來執行面部標誌檢測和檢測視訊流中的眨眼。

第三步，基於程式碼，我們將應用我們的方法來檢測示例攝像頭流中的眨眼以及視訊檔案。

最後，我將通過討論改進我們的眨眼檢測器的方法來結束。

1.瞭解“眼睛縱橫比”（EAR）

我們可以應用面部標誌檢測來定位臉部的重要區域，包括眼睛，眉毛，鼻子，耳朵和嘴巴：

這也意味著我們可以通過瞭解特定臉部的索引來提取特定的臉部結構：

在眨眼檢測方面，我們眼睛結構感興趣。

每隻眼睛由6個（x，y）座標表示，從眼睛的左角開始，然後圍繞該區域的其餘部分順時針顯示：

基於這個描述，我們應該抓住重點：這些座標的寬度和高度之間有一個關係。

Soukupová和Čech在其2016年的論文“使用面部標誌實時眼睛眨眼檢測”的工作，我們可以推匯出反映這種關係的方程，稱為眼睛縱橫比（EAR）：

其中p1，...，p6是2D面部地標位置。

這個方程的分子是計算垂直眼睛標誌之間的距離，而分母是計算水平眼睛標誌之間的距離，因為只有一組水平點，但是有兩組垂直點，所以進行加權分母。

為什麼這個方程如此有趣？

我們將會發現，眼睛的長寬比在眼睛張開的時候大致是恆定的，但是在發生眨眼時會迅速下降到零。

使用這個簡單的方程，我們可以避免使用影象處理技術，簡單地依靠眼睛地標距離的比例來確定一個人是否眨眼。

為了更清楚地說明，看下面的圖：

在底部圖中繪出了眼縱橫比隨時間的視訊剪輯的曲線圖。正如我們所看到的，眼睛縱橫比是恆定的，然後迅速下降到接近零，然後再增加，表明一個單一的眨眼已經發生。

2.用面部標志和OpenCV檢測眨眼（程式碼篇）

請開啟一個新檔案並將其命名為detect_blinks.py。插入以下程式碼：

要訪問磁碟上的視訊檔案（FileVideoStream）或內建的網路攝像頭/ USB攝像頭/Raspberry Pi攝像頭模組（VideoStream），我們需要使用imutils庫，它可以使OpenCV更容易工作。

如果您的系統上沒有安裝 imutils，請確保使用以下命令安裝/升級：

pip install --upgrade imutils

注意：如果您正在使用Python虛擬環境（OpenCV安裝教程），請確保使用 workon命令首先訪問您的虛擬環境，然後安裝/升級 imutils。

例外的是dlib庫，如果您的系統上沒有安裝dlib，請按照我的dlib安裝教程配置您的機器。

接下來，我們將定義eye_aspect_ratio函式：

defeye_aspect_ratio(eye ):# compute the euclidean distances between the two sets of# vertical eye landmarks (x, y)-coordinatesA =dist .euclidean (eye [1],eye [5])B =dist .euclidean (eye [2],eye [4])# compute the euclidean distance between the horizontal# eye landmark (x, y)-coordinatesC =dist .euclidean (eye [0],eye [3])# compute the eye aspect ratioear =(A +B )/(2.0*C )# return the eye aspect ratioreturnear

這個函式接受單一的引數，即給定的眼睛面部標誌的（x，y）座標 。

A，B是計算兩組垂直眼睛標誌之間的距離，而C是計算水平眼睛標誌之間的距離。

最後，將分子和分母相結合，得出最終的眼睛縱橫比。然後將眼圖長寬比返回給呼叫函式。

讓我們繼續解析我們的命令列引數：

detect_blinks.py指令碼需要一個命令列引數，然後第二個是可選的引數：

1.--shape-predictor：這是dlib的預訓練面部標志檢測器的路徑。

2.--video：它控制駐留在磁盤上的輸入視訊檔案的路徑。如果您想要使用實時視訊流，則需在執行指令碼時省略此開關。

我們現在需要設定兩個重要的常量，您可能需要調整實現，並初始化其他兩個重要的變數。

當確定視訊流中是否發生眨眼時，我們需要計算眼睛的長寬比。

如果眼睛長寬比低於一定的閾值，然後超過閾值，那麼我們將記錄一個“眨眼” -EYE_AR_THRESH是這個閾值，我們預設它的值為 0.3，您也可以為自己的應用程式調整它。另外，我們有一個重要的常量，EYE_AR_CONSEC_FRAME，這個值被設定為 3，表明眼睛長寬比小於3時，接著三個連續的幀一定發生眨眼動作。

同樣，取決於視訊的幀處理吞吐率，您可能需要提高或降低此數字以供您自己實施。

接著初始化兩個計數器，COUNTER是眼圖長寬比小於EYE_AR_THRESH的連續幀的總數，而 TOTAL則是指令碼執行時發生的眨眼的總次數。

現在我們的輸入，命令列引數和常量都已經寫好了，接著可以初始化dlib的人臉檢測器和麵部標誌檢測器：

dlib庫使用一個預先訓練的人臉檢測器，該檢測器基於對用於物件檢測的定向梯度直方圖+線性SVM方法的修改。然後，我們初始化的實際面部標誌預測值predictor。

您可以在本部落格文章中瞭解更多關於dlib的面部標誌性探測器（即它是如何工作的，它在哪些資料集上進行了訓練等）。

由dlib生成的面部標記遵循可索引列表，正如我所描述的那樣：

因此，我們可以確定為下面的左眼和右眼提取（x，y）坐標的起始和結束數組切片索引值：

使用這些索引，我們將能夠毫不費力地提取眼部區域。

接下來，我們需要決定是否使用基於檔案的視訊流或實時USB/網路攝像頭/ Raspberry Pi攝像頭視訊流：

如果您使用的是檔案視訊流，請保持原樣。

如果您想使用內建攝像頭或USB攝像頭，取消註釋：# vs = VideoStream(src=0).start()。

Raspberry Pi相機模組，取消註釋：# vs = VideoStream(usePiCamera=True).start()。

如果您未註釋上述兩個，你可以取消註釋# fileStream = False以及以表明你是不是從磁碟讀取視訊檔案。

最後，我們已經完成了我們指令碼的主要迴圈：

# loop over frames from the video streamwhileTrue:# if this is a file video stream, then we need to check if# there any more frames left in the buffer to processiffileStream andnotvs .more ():break# grab the frame from the threaded video file stream, resize# it, and convert it to grayscale# channels)frame =vs .read ()frame =imutils .resize (frame ,width =450)gray =cv2 .cvtColor (frame ,cv2 .COLOR_BGR2GRAY )# detect faces in the grayscale framerects =detector (gray ,0)

在while處我們開始從視訊流迴圈幀。

如果我們正在訪問視訊檔案流，並且視訊中沒有剩餘的幀，我們從迴圈中斷。

從我們的視訊流中讀取下一幀，然後調整大小並將其轉換為灰度。然後，我們通過dlib內建的人臉檢測器檢測灰度幀中的人臉。

我們現在需要遍歷幀中的每個面，然後對其中的每個面應用面部標誌檢測：

# loop over the face detectionsforrect inrects :# determine the facial landmarks for the face region, then# convert the facial landmark (x, y)-coordinates to a NumPy# arrayshape =predictor (gray ,rect )shape =face_utils .shape_to_np (shape )# extract the left and right eye coordinates, then use the# coordinates to compute the eye aspect ratio for both eyesleftEye =shape [lStart :lEnd ]rightEye =shape [rStart :rEnd ]leftEAR =eye_aspect_ratio (leftEye )rightEAR =eye_aspect_ratio (rightEye )# average the eye aspect ratio together for both eyesear =(leftEAR +rightEAR )/2.0

shape確定面部區域的面部標誌，接著將這些（x，y）座標轉換成NumPy陣列。

使用我們之前在這個指令碼中的陣列切片技術，我們可以分別為左眼left eye和右眼提取（x，y）座標，然後我們計算每隻眼睛的眼睛長寬比 。

下一個程式碼塊簡單地處理視覺化眼部區域的面部標誌：

# compute the convex hull for the left and right eye, then# visualize each of the eyesleftEyeHull =cv2 .convexHull (leftEye )rightEyeHull =cv2 .convexHull (rightEye )cv2 .drawContours (frame ,[leftEyeHull ],-1,(0,255,0),1)cv2 .drawContours (frame ,[rightEyeHull ],-1,(0,255,0),1)

我們已經計算了我們的（平均的）眼睛長寬比，但是我們並沒有真正確定是否發生了眨眼，這在下一部分中將得到關注：

# check to see if the eye aspect ratio is below the blink# threshold, and if so, increment the blink frame counterifear EYE_AR_THRESH :COUNTER +=1# otherwise, the eye aspect ratio is not below the blink# thresholdelse:# if the eyes were closed for a sufficient number of# then increment the total number of blinksifCOUNTER >=EYE_AR_CONSEC_FRAMES :TOTAL +=1# reset the eye frame counterCOUNTER =0

第一步檢查眼睛縱橫比是否低於我們的眨眼閾值，如果是，我們遞增指示正在發生眨眼的連續幀數。否則，我們將處理眼高寬比不低於眨眼閾值的情況，我們對其進行檢查，看看是否有足夠數量的連續幀包含低於我們預先定義的閾值的眨眼率。如果檢查通過，我們增加總的閃爍次數。然後我們重新設定連續閃爍次數 COUNTER。

我們的最終程式碼塊只是簡單地處理在輸出幀上繪製閃爍的次數，以及顯示當前的眼圖高寬比：

3.眨眼檢測結果

在執行之前，請務必使用本指南“下載”原始碼+示例視訊+預訓練的dlib面部標記預測器。

要將我們的眨眼檢測器應用於示例視訊，只需執行以下命令：

$python detect_blinks.py

--shape-predictor shape_predictor_68_face_landmarks.dat

--video blink_detection_demo.mp4

後來，在旅館裡，我記錄下了眨眼檢測器的實時流，並將其變成了螢幕錄影。

要訪問我的內建攝像頭，我執行了下面的命令（注意取消註釋正確的VideoStream類，如上所述）：

4.改進我們的眨眼檢測器

我們只關注眼睛縱橫比作為定量指標，以確定一個人是否在視訊流中眨了眨眼睛。

為了使我們的眨眼檢測器更加強大的顯示中可能挑戰，Soukupová和Čech建議：為了改善我們的眨眼檢測器，Soukupová和Čech建議構建眼長寬比（第N幀，第 N-6 幀和第 N + 6幀）的13維特徵向量，然後將該特徵向量饋送到線性SVM分類。

責任編輯：

Reference:科技日報