是时候让AI辅助你追剧了，以《猎场》为例

最新推荐文章于 2020-06-04 09:00:46 发布

RiweiChen

最新推荐文章于 2020-06-04 09:00:46 发布

阅读量1.6k

点赞数 3

分类专栏：【机器学习实践】文章标签：人工智能人脸识别视频分析属性识别表情识别

本文链接：https://blog.csdn.net/chenriwei2/article/details/78829113

版权

【机器学习实践】专栏收录该内容

4 篇文章 0 订阅

订阅专栏

前言

经过漫长的单休之后，本周终于可以双休了：）

本来打算趁双休没事干，把最近我胡热播的电视剧《猎场》给过了，看到十多集的时候，越发看不下去了，额，怎么说呢，猎头相关的不专业，更像是《情场》，可是下载了这么多视频全集，rm 掉有点可惜，正好最近对视频分析这块比较感兴趣，因此想试试手，此外，自己一直依赖都是做人脸相关的研究应用，就先从人脸开始。：）

以上都是废话：）

主要技术和步骤

视频抽帧

直接用cv2就可以，我才用的是秒抽一帧。

人脸检测和特征提取

人脸的检测包括人脸框，人脸识别特征，还有各种人脸属性特征：如性别、年龄、表情、颜值等。

struct FaceFeature{
    1: Region region,
    2: double age,
    3: double gender,
    4: list<double> racial,
    5: list<double> feature,
    6: double smile,
    7: double attractive,
    8: list<double> exps,
}

其中 feature 主要用来用来做聚类用；

人脸特征聚类；

人脸聚类主要用来识别出一个视频全集中到底有多少人，聚类的方法比较多，就不细扯了，在github上搜了一下，chinese_whispers_clustering 聚类算法对此类问题还算靠谱，而且dlib有对此的实现，直接拿来用（何必要重复造轮子呢：））

结果

人物聚类

识别聚类结果如下：

上面的id，代表一个人物，后面会用到。

简单的看了一下，主要的人物还算都聚起来了，很多人不认识（比较只看了十多集），也存在几个问题，可能是聚类算法的阈值选择的不太合适，如0和6都是郑秋冬，被分开了，还有346和763，另外还有21号，这个类聚合的都是误检的人脸；

应用

人物颜值排序

都说男女一号一般都是剧里的颜值担当，但在这部剧中，我是不同意的（不单单我不同意，我训练的颜值模型也不同意：））

结果如下：
部分颜值得分截图

正如预期的那样，统计意义上，女性演员的颜值要高于男性演员的，此外，模型认为本剧的颜值担当竟然是363号周放演的钟淮兰，第二是346号贾衣玫，而1号女主角排第五 : )

男演员方面：最帅的是1454号，应该是后面的剧情才出现的，没见过。第二帅是345号林拜（我也觉得他最帅，符合我直男癌的审美：）），至于0号男主角也是排第五：）

人物情绪曲线

通过分析一个人物在剧中的情绪，大致就可以知道该人物是悲剧角色，还是喜剧角色。
我们将情绪归为3类：中性为0，正向表情为1，负向表情为-1；

exp2scole = {
    |   "Angry":-1,
    |   "Disgust":-1,
    |   "Fear":-1,
    |   "Happy":1,
    |   "Sad":-1,
    |   "Surprise":1,
    |   "Neutral":0
    |   }