面试备战材料

一、开集识别 概念：
open word environment recognition,首先属于识别问题，其次限定了背景条件：open word ，指真实世界的数据具有明显的动态性和开放性，但绝大多数识别系统对问题采用静态和封闭的模型，其中所有类别都假设为先验已知。由此造成巨大的开放空间风险。

针对开放世界识别问题 进行形式化定义：
首先 系统必须能识别对象并将其与已知类关联，同时还能够将类标为未知，然后收集并标记这些新的未知信息。当有足够多的标记未知数据用于新类学习时，系统必须逐步学习和扩展多类分类器，从而使系统知道每个新类。开放世界识别不仅仅是对未知类的健壮性，而是向在开放世界中自我调整和学习的可扩展系统发展，简而言之：开放世界识别=开放集识别+增量伸缩问题=开放集识别（已知类识别+未知类识别）+未知类标记+增量学习（伸缩）

增量学习类似于零样本学习，

二、swin-b-transform的优势在于 ：

1. 属于一种层级式网络结构，擅长解决视觉图像的多尺度问题——门头图本身场景复杂，相比于常见的ImageNet数据集，门头图目标有大有小 如 多门头、农家门、开口面积；

2. 提出了shifted windows，极大地降低了transformer的计算复杂度；

三、Attention机制

Q: 搜索引擎上输入的内容，如商品名称

Key：搜索引擎根据query为你匹配key，如商品的种类 颜色 描述

Value：搜索引擎根据query和key的相似度得到匹配的内容

四、swin-b-transform与ViT的对比

对应vit：特点是使用低分辨率的输入（计算复杂度与图像大小是二次函数关系，无法使用大分辨率的图像）、全局自注意力计算、特征图大小固定（transformer得到的每一层特征图都是16倍下采样大小 没有多尺寸特征感受野相同）而且检测分割时只能从bottleneck上提取特征，无法从主干提取浅层特征。

对应的，        使用任意尺度的输入（计算复杂度与图像大小是线性关系）、在小窗口内计算自注意力、特征图大小递减。

当窗口大小固定，自注意力的复杂度就固定，利用了图像的局部性的先验知识（局部性 是 同一个物体不同部位，或者语义相近的不同物体，大概率会出现在相邻的地方，所以对视觉任务而言，在小窗口内计算自注意力是合理的，全局计算会造成浪费。

五、门头图中遇到的技术问题

样本不均衡、场景复杂

六、增强策略介绍、区别

七、预训练的方法（有监督、无监督）: 共性 移植到特定任务，再使用相关特定领域的少量标注数据进行”微调“

 无监督预训练：iGpt  、BEIT、MAECV和NLP中的无监督预训练(生成式BERT/iGPT和判别式SimCLR/SimCSE) - 知乎 (zhihu.com)

1. BEIT 属于vision transformer工作的研究方向（前沿工作）借鉴了BERT：视频讲解【论文叨叨叨】有趣的自监督图像预训练方法BEIT_哔哩哔哩_bilibili

从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程

（MOCO、SimCLR、BYOL）

自监督学习：主要是利用pretext辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络训练，从而可以学习到对下游任务有价值的表征。

自监督的Pretrain-Finetune流程：首先从大量无标签数据中通过pretext来训练网络（自动在数据中构造监督信息），得到预训练的模型，然后对于新的下游任务，和监督学习一样，迁移学习到的参数再微调。

一些常用的pretext：图片旋转、图片上色、图片补全（掩码）、关系预测\上下文预测

八、论文：基于随机采样的开集识别方法

逻辑清晰、突出亮点：融合不同图像的相似度（参考最新小红书提出的跨图像对比学习）

---------构造具有样本间相似性关系的样本，这是一个有意义的任务，因为图像间相似性能够使所学习表征很好地反映图像在语义上的相似性，降低表征在不同样本间的泛化能力。

故 通过人为构造一个新样本，使得新样本和多个样本之间存在相似性，从而引导深度模型学习样本之间的相似性关系。而且考虑到掩码图像建模、无监督学习方法（beit mae simmim）的成功都表明只用少量patch 也能够有效表征原始图像语义，所以我们可以用包含多张图象patch的混合图像 表示多张图象的语义。混合样本利用样本之间确定的相似性关系，作为训练样本去条件引导深度模型学习（因为一般假设（ARPL）未知目标距离多个已知类的相似性呈近似相等）

-------方案：

问题形式化：因特征分布，故难未知的识别是关键。本方案提出基于未知模拟的开集方案，包括两个创新点

创新1. 出发点，首先建模代数模型，张成空间特性理论支撑其组合得到的样本属于与已知高相似的未知。由此提出了两种路线（理论合理性+优势）：路线一 不同属于一类的多张图象patch的混合（空间维度）Motivation：抑制噪声、提升鲁棒性的基础上低计算复杂度、引导深度模型学习样本之间的相似性关系。

路线二、隐层mixup，

为了保障有效性，借助贝塔分布约束边界点的选择。（Trick：隐层插值是高维加权 会影响细节信息，所以label=K+1的分布 学习难度相对更大 故loss的设计要分开再加权，相应图像维度路线 则保留了共性细节信息 匹配学习相对简单 不需要分别loss）

创新2. 推理过程：强调未知目标模拟的有限性和特殊性，所以：不能仅仅因为它不是所有类的最大概率就忽略k+1的输出。提出两阶段识别策略，借助class K+1阈值化，进一步增强未知检测性能

技术难点：贝塔分布就是一个事件出现的概率的概率密度分布。

描述------最直接的做法是将原始（w,h)范围缩小到中心，失去多样性

一方面边界坐标（0-max）：限制贝塔分布参数阿尔法=beta>1，开口向下的抛物线 使得靠近中心的区域被以更高的概率选择，边角处（0、max）被以较小的概率选择；

另一方面patch起始位置，设置起始点是patch的左上角：保证起始点不能位于目标框左上角区域，否则会被覆盖，控制贝塔分布形状来限制概率选择。

通过贝塔分布 生成目标的多样性和保真度折衷。

九、开集识别的sota 对比方法---原理及缺陷

十、最大数量级的项目

十一、资源受限条件下的整体感知神经网络研究

（详见笔记本）

十二、资源受限 标记有限 的处理方法，怎么解决？

---复杂场景怎么处理目标和干扰信号的？

十三、加快推理速度的方法：一秒内模型能够执行的推理次数用来表示模型的推理速度

1.改变模型的权重，具体可以1）通过训练后的模型量化：先将pytorch模型权重转换为onnx模型中间格式，最后转化到tensorRT上运行，实现量化。

2）将模型转换为半精度

2、寻找最优模型

1）改变backbone

3、知识蒸馏

1）使用大模型训练器来训练一个就有较少参数的小模型

总结来说：优化模型主要方法分为：减少模型尺寸（量化、知识蒸馏、权重共享）、减少计算操作（池化、可分离卷积、模型剪枝）两种

十四、future处理并发请求 ：结合execuor.submit和futures.as_completed（接收一个future组成的可迭代对象，然后返回一个迭代器，迭代器在meigefuture完成时立刻产出结果）

十五、信号处理的过程

1.信号采集：借助传感器获取信号并经过模数转换器（ADC）转换成数字信号

2.信号预处理：借助滤波器、放大器对采集到的信号进行滤波 降噪 放大等处理，以便后续操作

3.特征提取：借助特征提取算法，如小波变换、视频分析

4.信号分析：借助功率谱密度分析、自相关分析得到信号的一些重要参数或特征

5. 信号处理：借助数字信号转换器（DAC）转换成模拟信号

十六、编程八股文？

十七、项目+论文，你是怎样分配时间的？

十八、为什么来沈阳工作，为什么不去大厂，高考成绩？对601的认识

有亲戚在，熟悉的人可以相互照应，生活上可以提供方便

去年就做好了职业规划：两个方案 plan1是先去各种大厂打拼几年再转到稳定工作。plan2是选择一个适宜生活的城市，去研究所。经过前期实习，我发现大城市的节奏很快 很难做到生活和工作的平衡，不适合我，现在就确定了方案2，目前心仪的城市有沈阳和西安，因为我是北方人，首选北方 沈阳作为东北地区的中心城市，最吸引我的是宜居，因为和东北亲戚接触就觉得非常舒服亲切，居住过一阵子体验感很好 氛围豪爽热情轻松觉得很喜欢东北，所以希望有机会在这里定居。 希望在这买房定居。

对于601：

高考成绩：

621：其中英语140、数学135、语文105、理综241（生物发挥有些小失误）

十九、职业规划

二十、特长和优势

二十一、家庭情况

我的爸爸是一名教师，有二十年左右的教学经验，妈妈是衡水老白干酒厂的后勤部门担任小班长，姐姐也是教师，他们在各自的工作领域都有着突出的表现和业绩，深深地影响着我，妈妈连续四年荣获公司的先进个人荣誉，爸爸已经被授予“高级教师”职称，姐姐凭借出色的办事能力入学不久就被选举为班主任，承办了很多活动。

我的家庭充满温馨快乐的氛围，爸爸妈妈的性格都属于幽默 乐观 开朗积极的，他们的这些优秀品质就一直指引着我勇敢尝试 不断进步。对我的教育也是恰到好处的鼓励与鞭策，很尊重我的想法 支持我的决定 不会逼着我做事情，所以我也越来越独立。

Resnet50结构

二十二、对性能影响最大的还是数据

业务中基本的步骤流程都是分析模型badcase的规律，然后找类似的数据来标注，本质上说就是人肉的主动学习