你和你的女神之间，差了一个OpenCV口红色号识别器

为了减少误差，需要裁剪多个不同位置的图片，保存在本地的一个文件夹中，读取文件，提取颜色，求平均值，得到的番茄最终的 RGB 颜色，代码如下：

import os
import getcolor
from os.path import join as pjoin
from scipy import misc

def load_color(color_dir,list):
count = 0
for dir in os.listdir(color_dir):
img_dir = pjoin(color_dir, dir)
image = getcolor.Image.open(img_dir)
image = image.convert(‘RGB’)
get=getcolor.get_dominant_color(image)
list.append(get)
count = count+1
#print(person_dir)
#print(count)
return count

def Mean_color(count,list):
Mean_R=Mean_G=Mean_B=0
for i in range(count):
tuple=list[i]
Mean_R+=tuple[0]
Mean_G+=tuple[1]
Mean_B+=tuple[2]
MeanC=((int)(Mean_R/count),(int)(Mean_G/count),(int)(Mean_B/count))
return Me

番茄的颜色提取到了，那么和什么做比对呢?

当然是口红的数据，文摘菌这儿用到了 5 个品牌，分别是圣罗兰、香奈儿可可小姐、迪奥、美宝莲、纪梵希，共 17 个系列，271 个口红色号。

数据集是一个嵌套的字典数据结构，存为 json 串的形式，里面记录了每个口红品牌系列下不同口红色号的颜色 id、名称、和 16 进制颜色值。

lipstick.json部分数据集展示如下：

{“brands”:[{“name”:“圣罗兰”,“series”:
[{“name”:“莹亮纯魅唇膏”,“lipsticks”:
[{“color”:“#D62352”,“id”:“49”,“name”:“撩骚”},
{“color”:“#DC4B41”,“id”:“14”,“name”:“一见倾心”},
{“color”:“#B22146”,“id”:“05”,“name”:“浮生若梦”}，

数据集中存储的 RGB 颜色是 16 进制的字符串形式，需要将其转换成 RGB 值，比较两个颜色相近与否。

实际上是比较 RGB 三个分量维度上的误差，最小的口红输出对应的品牌、系列、色号和 id。

代码如下：

import json
import getcolor
import numpy as np
import lipcolor

#filename = ‘temp.txt’
##write the temp data to file##
def WtoFile(filename,RGB_temp):
num=len(RGB_temp)
with open(filename,‘w’) as f:
for i in range(num):
s = str(RGB_temp[i]).replace(‘[’,‘’).replace(‘]’,‘’)
f.write(s)
f.write(“\n”)

#operate the data #
##save the brand&series&color id&color name to sum_list##
##covert the color #D62352 to RGB_array##
##caculate the RGB difference to RGB_temp and write the value to file##
def data_operate():
with open(‘lipstick.json’, ‘r’, encoding=‘utf-8’) as f:
ret_dic = json.load(f)
#print(ret_dic[‘brands’])
#print(type(ret_dic)) # <class ‘dict’>
#print(ret_dic[‘brands’][0][‘name’])
b_num=len(ret_dic[‘brands’])
#print(b_num)#brands number

s_list=[]
#series brands#
for i in range(len(ret_dic[‘brands’])):
s_num=len(ret_dic[‘brands’][i][‘series’])
s_list.append(s_num)
#print(“{0} has {1} series”.format((ret_dic[‘brands’][i][‘name’]),(s_list[i])))

#the lipstick color of every brands every series#
#the first loop calculate the total color numbers
sum=0
for b1 in range(b_num):
for s1 in range(s_list[b1]):
brand_name=ret_dic[‘brands’][b1][‘name’]
lip_name=ret_dic[‘brands’][b1][‘series’][s1][‘name’]
color_num=len(ret_dic[‘brands’][b1][‘series’][s1][‘lipsticks’])
sum+=color_num#calculate the total color numbers

#the second loop save the message to a list#
sum_list=np.zeros((sum,4), dtype=(str,8))
value_array=np.zeros((sum,6), dtype=int)
i=0
for b2 in range(b_num):
for s2 in range(s_list[b2]):
brand_name=ret_dic[‘brands’][b2][‘name’]
#print(type(brand_name))
lip_name=ret_dic[‘brands’][b2][‘series’][s2][‘name’]
color_num=len(ret_dic[‘brands’][b2][‘series’][s2][‘lipsticks’])
for c in range(color_num):
color_value=ret_dic[‘brands’][b2][‘series’][s2][‘lipsticks’][c][‘color’]
color_name=ret_dic[‘brands’][b2][‘series’][s2][‘lipsticks’][c][‘name’]
color_id=ret_dic[‘brands’][b2][‘series’][s2][‘lipsticks’][c][‘id’]
#print(“{0} series {1} has {2} colors,color {3}：{4}”.format(brand_name,lip_name,color_num,c+1,color_name))
sum_list[i][0]=brand_name
sum_list[i][1]=lip_name
sum_list[i][2]=color_id
sum_list[i][3]=color_name
#value_array[i]=value_array[i][1]
#convert “#D62352” to [13 6 2 3 5 2]#
for l in range(6):
temp=color_value[l+1]
if(temp>='A’and temp<=‘F’):
temp1=ord(temp)-ord(‘A’)+10
else:
temp1=ord(temp)-ord(‘0’)
value_array[i][l]=temp1
i+=1

#the third loop covert value_array to RGB_array#
RGB_array=np.zeros((sum,3), dtype=int)
for i in range(sum):
RGB_array[i][0]=value_array[i][0]*16+value_array[i][1]
RGB_array[i][1]=value_array[i][2]*16+value_array[i][3]
RGB_array[i][2]=value_array[i][4]*16+value_array[i][5]

#calculate the similar and save to RGB_temp
#RGB_temp=np.zeros((sum,1), dtype=int)
RGB_temp=np.zeros((sum,1), dtype=float)
for i in range(sum):
R=RGB_array[i][0]
G=RGB_array[i][1]
B=RGB_array[i][2]
RGB_temp[i]=abs(get[0]-R)+abs(get[1]*3/4-G)+abs(get[2]-B)
RGB_temp.tolist();#covert array to list
#print(RGB_temp)
filename=“temp.txt”
WtoFile(filename,RGB_temp)
#sort the RGB_temp#
result=sorted(range(len(RGB_temp)), key=lambda k: RGB_temp[k])
#print(result)
#output the three max prob of the lipsticks#
print(“The first three possible lipstick brand and color id&name are as follows:”)
for i in range(3):
idex=result[i]
print(sum_list[idex])
print(“The first three possible lipstick brand RGB value are as follows:”)
for i in range(3):
idex=result[i]
R=RGB_array[idex][0]
G=RGB_array[idex][1]
B=RGB_array[idex][2]
tuple=(R,G,B)
print(tuple)

if name == ‘main’:
#image = getcolor.Image.open(inputpath)
#image = image.convert(‘RGB’)
#get=getcolor.get_dominant_color(image)#tuple #get=(231, 213, 211)
list=[]
color_dir=“output”
count=lipcolor.load_color(color_dir,list)
get=lipcolor.Mean_color(count,list)
print(“the extracted RGB value of the color is {0}”.format(get))
#operate the data#
data_operat

输出最有可能吻合番茄颜色的前三个口红的信息，然后在 Spyder 中的运行结果：

可以看到最有可能的三个口红品牌色号的 RGB 值与番茄的 RGB 值是非常接近的。

提取到的番茄颜色：

‘迪奥’ ‘烈艳蓝金唇膏’ ‘080’ '微笑正红’的颜色：

‘圣罗兰’ ‘纯口红’ ‘56’ '橙红织锦’的颜色：

‘纪梵希’ ‘高定香榭天鹅绒唇’ ‘325’ '圣水红’的颜色：

我已经眼花缭乱，三个颜色……有区别吗?!以后不如准备统一叫它们，番茄色!

不过，这也正说明了，刚刚的提取&对比方法可行!

既然可以识别番茄的颜色，那么，可以识别人像中的口红色号吗?

#####进入正题!人像口红色号识别

接下来，我们需要做的是输入一张人像图片，可以自动识别其中的嘴唇区域，并提取出嘴唇区域中的一部分做为颜色提取的源图像。

这里就要用到 CV 的人脸识别了，还好 Dlib 库又帮助我们减轻一大部分的工作量。

Dlib 中有自带的 68 个人脸的识别器，可以得到人脸部位包括眉毛、眼睛、鼻梁、面部轮廓和嘴唇区域的具体点的位置，到这儿，我以为很轻松就可以截到嘴唇区域了，结果有点尴尬…

我们首先找到了一张小姐姐的照片：

截取到的嘴唇区域如下：

很明显的看到上下嘴唇黑色的区域也截取到了，这对后续的提色有影响，所以不得不回到最初的 68 个检测点来思考人生。

标记的 68 个人脸检测点如上图所示，而嘴唇部位是从第 49 个标记点开始的(数组的话，下标是 48)。

为了尽可能的截取到均匀成色的嘴唇片段，刚开始是想从第 50 个标记点对角线截取到第 56 个标记点，而这不可避免的会截取到上下嘴唇之间的缝隙，这儿的阴影也会影响后续的颜色提取准确度。

考虑到下嘴唇比上嘴唇宽，所以截取到下嘴唇中间的两个小正方形区域：

人脸识别和截取嘴唇区域的代码如下：

import numpy as np
import cv2
import dlib
from PIL import Image

def crop(source,pos):

x1=pos[2][0]
y1=pos[2][1]
x2=pos[1][0]
y2=pos[1][1]
d=abs(x2-x1)
region = source[(int)(y1-d*0.75):y2,x1:x2]

save the image

cv2.imwrite(“output/Mouth1.jpg”, region)

x1=pos[1][0]
y1=pos[1][1]
x2=pos[0][0]
y2=pos[0][1]
d=abs(x1-x2)
region = source[y1-d:y2,x1:x2]

save the image

cv2.imwrite(“output/Mouth2.jpg”, region)

def detect_mouth(img,pos):
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray = cv2.equalizeHist(gray)
detector = dlib.get_frontal_face_detector()
#use the predictor　
predictor = dlib.shape_predictor(‘shape_predictor_68_face_landmarks.dat’)
dets = detector(img, 1)
print(“Number of faces detected: {}”.format(len(dets)))
for a in dets:
cv2.rectangle(img,(a.left(),a.top()),(a.right(),a.bottom()),(255,0,0))
#point_list=[]#save the mouth point to point_list[]#
#Extract 68 feature points of the face and crop the lip image#
for index, face in enumerate(dets):
print(‘face {}; left {}; top {}; right {}; bottom {}’.format(index, face.left(), face.top(), face.right(), face.bottom()))
shape = predictor(gray, face)
for i, pt in enumerate(shape.parts()):
#print(‘Part {}: {}’.format(i, pt))
#print(i)
pt_pos = (pt.x, pt.y)
if i>=48 and i<=67:
cv2.circle(img, pt_pos, 2, (255, 0, 0), 1)
if i>=56 and i<=58:
#print(pt_pos)
pos[i-56][0]=pt.x
pos[i-56][1]=pt.y
#cv2.circle(img, pt_pos, 2, (255, 0, 0), 1)
return img

if name == “main”:
img = cv2.imread(“test3.png”)
#copy the input image for the later crop#
img_clone = np.copy(img)
cv2.imwrite(“input/source.jpg”,img_clone)
#save the lip position to pos array#
pos=np.zeros((3,2), dtype=int)
result=detect_mouth(img,pos)
cv2.imwrite(“input/source2.jpg”,result)
#crop the lip areas#
source = cv2.imread(“input/source.jpg”)
crop(source,pos)

show the result

cv2.imshow(‘FaceDetect’,result)
cv2.waitKey(0)
cv2.destroyAllWindow

既然已经截取到嘴唇的小矩形图像了，接下来的工作就和前面一样了，在数据库中对比每个 RGB 值输出最小误差对应的口红信息，而这儿也有难到我。

单纯的比对 RGB 分量对口红色号来说并不适用，有可能每个分量相差很小，而叠加起来的颜色和提取到的颜色并不相似，在颜色的比对上需要手动调参。

几经波折，最后输出的结果还是可以接受的，上图人像中涂的口红色号，感兴趣的读者可以查下正好是下面输出排名第一的口红信息。

#####误差分析

对于我们测试的图片信息，标记了嘴唇区域的特征点，我们提取到的 RGB 值(156,59,103)颜色如下所示：

可以看到和图片的颜色已经十分接近了，而数据集合 lipstick.json 中这种口红存储的 16 进制颜色值为 #842C71，对应的颜色如下：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

尾声

面试成功其实都是必然发生的事情，因为在此之前我做足了充分的准备工作，不单单是纯粹的刷题，更多的还会去刷一些Android核心架构进阶知识点，比如：JVM、高并发、多线程、缓存、热修复设计、插件化框架解读、组件化框架设计、图片加载框架、网络、设计模式、设计思想与代码质量优化、程序性能优化、开发效率优化、设计模式、负载均衡、算法、数据结构、高级UI晋升、Framework内核解析、Android组件内核等。

不仅有学习文档，视频+笔记提高学习效率，还能稳固你的知识，形成良好的系统的知识体系。这里，笔者分享一份从架构哲学的层面来剖析的视频及资料分享给大家梳理了多年的架构经验，筹备近6个月最新录制的，相信这份视频能给你带来不一样的启发、收获。

Android进阶学习资料库

一共十个专题，包括了Android进阶所有学习资料，Android进阶视频，Flutter，java基础，kotlin，NDK模块，计算机网络，数据结构与算法，微信小程序，面试题解析，framework源码！

大厂面试真题

PS：之前因为秋招收集的二十套一二线互联网公司Android面试真题 （含BAT、小米、华为、美团、滴滴）和我自己整理Android复习笔记（包含Android基础知识点、Android扩展知识点、Android源码解析、设计模式汇总、Gradle知识点、常见算法题汇总。）

《2017-2021字节跳动Android面试历年真题解析》

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

PS：之前因为秋招收集的二十套一二线互联网公司Android面试真题 （含BAT、小米、华为、美团、滴滴）和我自己整理Android复习笔记（包含Android基础知识点、Android扩展知识点、Android源码解析、设计模式汇总、Gradle知识点、常见算法题汇总。）

[外链图片转存中…(img-owTEgcpJ-1712372045434)]

《2017-2021字节跳动Android面试历年真题解析》

[外链图片转存中…(img-o8mpoC20-1712372045435)]

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！