![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/77ddbaa84d5e99d89c70edc59a6736d6.jpeg)
作者 | Wentao Yao, Zixun Sun, Xiao Chen
译者 | 孙薇 编辑 | Jane 出品 | AI科技大本营(ID: rgznai100)
原文链接: https://arxiv.org/pdf/1907.07854
介绍 推荐系统在我们生活中越来越重要,作为其重要组成部分,内容标注在个性化推荐中起着重要作用。热门手游“王者荣耀”有着大量粉丝,除了玩游戏,许多玩家还会花费大量时间观看相关游戏视频。那么,用户在浏览游戏社区时,如何自动推荐其喜爱的视频便成为我们所要解决的问题。准确的推荐会极大激发用户兴趣,并提高用户体验。而标记游戏视频的重要前提,便是识别视频中的英雄。 通常,基于神经网络的目标检测与识别有两种流行算法。一是两阶段算法(two-stage algorithms):首先检测图像中的对象,并获得每个对象的边界框,然后识别各个边界框以获得对象类别。基于卷积神经网络的典型两阶段算法包括R-CNN、SPP Net、Fast R-CNN、Mask R-CNN等。而另一种则是一阶段算法(one-stage algorithms):在一次运行中直接检测并识别图像中的对象,包括SSD和YOLO等。 经过分析后发现“王者荣耀”游戏的英雄有个重要特征,便是血条。所有血条均有相同的外观(包括大小及形状),而唯一区别是血条颜色、生命值与水平。为此,本文将采用两阶段算法。第一阶段,基于模板匹配方法,检测视频中的英雄血条,并获得其边界框列表。第二阶段,训练一个深度卷积神经网络来识别各个边界框,获取英雄姓名。 数据集 经过验证,我们发现不同视频中的血条大小只与视频高度相关,因此我们将数据集中的所有视频转为标准高度,即720px,同时保持其宽高比不变。 为了进行大量训练,我们从一些热门的视频网站上收集了大量游戏视频,其中包括截至目前的所有英雄(共92个)。各个视频包含一个标签,标记其中的主要英雄。针对各个英雄,我们下载了大约4-5个视频,其中尽可能涵盖了此英雄的各种外观和皮肤。 除了外观分类器,框架右下角是主英雄的技能区域,同一个主英雄的技能区域完全相同。我们决定利用技能区域,以及其他两个基于卷积神经网络的分类器进行训练,以提高识别准确性。技能区域的位置并不固定,且随着视频宽高比变化。因此,检测技能区域的算法应调整视频的宽高比。同时,我们使用圆检测算法,基于裁剪的技能区域来检测首技能(即第一个技能)圈。 综上,我们收集三种类型的样本:英雄的外观、首技能和技能区域。 方法 (1)血条模板匹配 将视频中的英雄血条与预定义模板匹配。由于不同血条的生命值、颜色、水平的差异,必须设置遮罩,区分该区域是否用于匹配。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/23b28dbd3b2836969100961e6a60dc38.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0584afd3d7e03b4fa0429899b92b0798.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c53bfb28e243d66291c0a092e6df2472.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/625adb2cfb87b6de52df2a958b1cbaba.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/68d5b7101c8dfd5914d602050515fd73.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/27a7447204394da86c779d2f199d9a12.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c788f9d1afd60d6b034b1808a3163a2b.png)
对于(r,g,b)中的颜色i,如果ci> 100且ci> 1.5 * cj(j≠i),则血条的颜色为i(绿色代表自己,蓝色代表友军,红色代表敌军);
如果没有ci符合上述规则,则:
对于(r,g,b)的每个i,如果满足70≤ci≤100,血条几乎为空,无法确定阵营;
否则并非血条,取消检测。
为了识别英雄姓名,我们需要训练几个分类器。针对英雄外观,只需在检测到的血条下面为主英雄裁剪一个固定区域,外观图像尺寸为163×163;对主英雄的技能区域,根据视频的宽高比进行位置补偿。在下面的方程式中,带有下标s的变量x,y,w,h指技能区域,带有下标image的变量则指图像。wnorm是指标准化16:9调整后的图像宽度。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/210ab2e3c92ede0ce84c06e94deab54c.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/639f77d0ee5b8dc4d466a15b017dca9d.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/bc7eefee7da1fb842d4083693f046ddd.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/056961ad4d73017930dfde3077236f69.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9f1cc5fcedaff5c36411af3abe2e5bd9.jpeg)
图 8(a)(b): YOLOv3与我们的方法的比较
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/f1fbf9c62343eb8ee5c552777305b7a6.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0a7ed40ec4a7d2ea9ebf523d91c8ac4c.jpeg)
(*本文为 AI科技大本营编译文章,转载请联系微信 1092722531)
社群福利
扫码添加小助手,回复:大会,加入2019 AI开发者大会福利群,每周一、三、五更新技术福利,还有不定期的抽奖活动~
◆
AI 开发者大会「七夕」特价
◆
2019 AI开发者大会重磅嘉宾更新: 阿里、华为、Google Brain、Amazon、微软中国、百度、京东、小米、快手、科大讯飞、商汤、旷视、图森、云知声、思必驰... “硬核AI技术大会,一年参加一次就够了”。 虽然是「七夕」 活动,没有男(女)朋友可以参加吗? 当然可以啦,性别不限,两人组队购票,即享优惠~
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/a054182e68408de60922fead38ae38cf.jpeg)
推荐阅读
重磅!AI Top 30+案例评选正式启动
通俗易懂:图解10大CNN网络架构
大咖问答:自然语言处理十问!
BERT的成功是否依赖于虚假相关的统计线索
被罚 50 亿后,Google 不再强制绑定 Android 默认引擎!
容器快速入门完全指南
媒体巨头进军区块链!纽约时报将用区块链技术打击假新闻
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/2cba20d74577dec51dc9daf89a6a59e5.png)