阿里达摩院计算机视觉算法工程师初试（2021-4-2）

电话面试，30多分钟，本次面试主要是面试我的意愿，基础能力，解决问题的能力。如果面试完觉得我不错的话会帮我推到阿里达摩院面试系统里面进行正式的面试流程。

1. 首先是自我介绍，项目经历，实习经历，毕业的一些想法。

2. 面试问答

• 问题：问烟火检测怎么降低误报率（容易把红色的目标误检成火）。（因为我的简历上面我写了我做过烟火检测）
• 回答：针对烟火数据难以收集的问题，尤其是小烟和小火，可以考虑使用GAN网络来生成一些烟火数据，然后针对烟火的误报，可以利用烟火的一些动态特征来减少误报。
• 问题：问我上面这个思路有做个实验去验证吗？
• 回答：目前都只是一些想法，还没有具体做过，我的毕业设计就是做的烟火检测，因为三月份才开的题，所以现在还没有具体做。
• 问题：那利用烟火的动态特征去减少误报，这个的具体是怎么去做？
• 回答：因为我们现在做的项目都是基于监控视频的，我可以使用帧间差法去提取出一些动态的前景特征，比如我之前做过的一个抛洒物检测就是利用双背景模型的帧间差法提取出动态前景。然后对于那些红色的物体，比如静止的车灯，我们就可以消除误检为这种目标物体。
• 问题：但是存在一些汽车尾灯是动态的，怎么去消除这种误检了？
• 回答：可以收集汽车尾灯的数据，进行对其进行标注加入烟火数据集重新训练，把这些容易误检的目标检测出来，从而降低误报率。
• 问题：如果直接加入新类别的数据（如上面的车灯）参与训练，那么模型会出现什么问题？
• 回答：会出现车灯在自身的小数据集里面是正样本，但是在烟火的小数据集里面是负样本，（烟火同理），这样肯定会降低模型的检测准确率。
• 问题：那有什么思路解决你说的这个问题？
• 回答：可以在模型训练计算损失函数的时候判断该张图片来自那个小数据集，如烟火小数据集里面不把车灯当作负样本参与损失函数的计算。
• 问题：你是怎么来验证烟火检测的准确率？
• 回答：通过特定场景的模拟，比如在工厂或者高速公路由专业的人员使用烟雾生成器，然后我们的系统通过实时监控和检测分析，将检测出来的结果进行计算出准确率和误报率，来验证烟火检测的效果。
• 问题：你是怎么去定义烟火的标注框，怎么进行标注？
• 回答：按照常规的目标检测方式通过bbox，比如一张图像里面出现烟或者火，那么就使用标注框将它整个标注。我之前也考虑过采用语义分割去做，但是因为分割的标注成本太高，耗费的人力资源太大，所以就考虑的用目标检测的方式去做。
• 问题：针对多媒体事件提取系统，问我怎么去针对特定需求收集数据？（因为这个系统里面有一个模块是目标检测，需要检测到多媒体数据里面所有感兴趣的内容）
• 回答：首先是自己想好需要检测出那些类别，然后针对这些类别分别去网上收集数据，如果该类别存在公共数据集，那直接使用公共数据集，可以减少标注成本。如果该类别没有公共数据集的话，就需要自己网上爬取相关图片数据，然后定义好标注的标准进行标准。得到这些数据后再进行模型的训练。
• 问题：你在这里是否遇到过已经训练完一个模型后，又有新的类别需求，如果遇到过，那你是怎么解决的？
• 回答：遇到过这个问题，可以将新类别的数据与旧类别的数据进行联合标注，但这样标注成本太高。所以我当时的做法是收集新的数据，然后只针对新数据训练出一个新的模型，这样就会有多个模型参与检测。但是我后来了解了一些增量学习的方法，可以使用这种方法去做。比如我在旧数据上已经有了一个旧模型，然后我这时候有了新数据，可以采用知识蒸馏的方法，在原来模型的基础上用旧模型的权重初始化新模型，增加新模型的输出向量大小，然后使用新数据训练出一个新的模型，这个模型能够同时拥有检测旧类和新类的能力。
• 问题：我看你会C++，你C++主要是做过什么项目？
• 回答：我在C++上面的项目经历很少，主要是做了一些QT的前端展示，后台的数据存储这些。
• 问题：你交通公路状况分析这个项目，你写的接口开发主要是一些什么接口？
• 回答：主要是检测模型的推理接口代码开发，流数据拉取和检测结果上传的接口。
• 问题：你在CMU的实习是已经结束了吗，另外你这次实习主要的工作是什么？
• 回答：实习已经结束了，然后我主要的工作是参与设计和开发了多媒体事件提取系统，接着我仔细介绍了这个系统框架和功能。此外说了一下我阅读过的那些领域的paper。

3. 然后对我整体进行评价，觉得我能力还挺ok的，会帮我内推到面试系统里面走正式的面试流程。接着给我介绍了他们部门的具体业务（做城市的监控分析的），问了我一些实习的时间和意向城市之类。