IJCAI 2019 《GraspSnooker: Automatic Chinese Commentary Generation for Snooker Videos》论文笔记

简介

本文是东南大学和字节跳动AI Lab合作的一篇文章，task是自动为斯诺克比赛生成解说。
下载链接

动机

斯诺克解说可以帮助初学者进行学习，同时能够增加观看比赛的趣味性。现在已经有了NBA视频、国际象棋比赛的自动解说模型，但是这些方法都缺乏了对体育比赛策略的深入分析。

贡献

• 构造了一个数据集，包含10.8k的single shot video、15.7k的commentaries。
• 提出了一个可以自动生成解说的系统，包含三个组件：视频分析器（video analyzer）、策略预测器（strategy predictor）、文本生成器（text generator）。

方法

本文方法的整体框架如下图所示，主要由视频分析器、策略预测器和文本生成器构成。视频分析器用于检测桌子和台球、跟踪台球提取运动信息；策略预测器预测目标球和目标带；文本生成器基于上述结果生成解说。

实验

对于策略生成器部分，经过在2k training instances和200 validation instances上的训练，在200个test instances上进行了测试，准确率如下：

• target ball prediction is 62.25%
• target pocket prediction is 77.04%
• of both is 56.12%.

一些可视化的结果：