面试中值得关注的问题（项目+通用问题）

最新推荐文章于 2023-05-04 21:44:49 发布
最新推荐文章于 2023-05-04 21:44:49 发布
阅读量426 收藏
点赞数
分类专栏： 机器学习与深度学习理论1 刷刷题 文章标签： 深度学习 神经网络 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wonengguwozai/article/details/106827176
版权
  • 说明：分为两部分，第一部分为自己项目相关联的问题，第二部分为网上收集的一些通用问题。

项目相关

  1. 项目中使用的faceboxes人脸检测算法的回归loss使用的是什么loss？答：smooth L1 loss，那你认为smooth L1 loss的存在什么问题？如何改进？
    答：1）L2损失对大目标回归不友好，如都是5个像素差，但归一化后，对于大目标的偏差值要远小于小目标的偏差值，进而影响对loss的贡献度; 更加精简的表述为：存在multi-scale的样本loss不平衡问题。2）改进方法：引入IOU loss克服 L2 loss以上问题。稍拓展下：IOU类型的损失也在持续改进：IoU loss（解决L2 loss的问题，但如果两个框没有相交，根据定义，IoU=0，不能反映两者的距离大小（重合度），loss为1）–> GIoU loss (引入包含两个bbox的最小矩形框，解决IOU loss的问题，但一个bbox在另一个bbox内部时，GIOU loss 不能反映小box所在的不同位置带来的损失差异，应越靠近大框中心损失越小) -->DIoU loss(在IOU loss 的基础上引入两个bbox中心点距离解决GIOU中的问题)–>CIoU loss(在DIoU loss的基础上加入bbox 宽高比信息，使两个矩形框更加相似)
    拓展一：目标检测L1、L2 的优缺点到为何发展到smooth L1 loss?
    对于L2 loss：当 x增大时 L2 损失对 x 的导数也增大。这就导致训练初期(损失值大)，预测值与 groud truth 差异过于大时，损失函数对预测值的梯度十分大，训练不稳定。
    对于L1 loss：L1 对 x 的导数为常数。这就导致训练后期，预测值与 ground truth 差异很小时， L1 损失对预测值的导数的绝对值仍然为 1，而 learning rate 如果不变，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度。
    smooth L1 loss: 在x较小时，对 x 的梯度也会变小，而在 x很大时，对 x 的梯度的绝对值达到上限 1，也不会太大以至于破坏网络参数。 smooth L1 loss 完美地避开了 L1 loss和 L2 loss 损失的缺陷。
    拓展二：对于目标检测样本不均衡（one-stage的精度不如two-stage的精度，一个主要的原因是训练过程中样本极度不均衡造成的，样本均衡问题详细可参照）从loss方面做的工作：样本类别不均衡主要体现在两方面：正负样本不均衡（正负样本比例达到1:1000）和难易样本不均衡（简单样本主导loss）。
    对于一个样本，如果它能很容易地被正确分类，那么这个样本对模型来说就是一个简单样本，模型很难从这个样本中得到更多的信息，从梯度的角度来说，这个样本产生的梯度幅值相对较小。而对于一个分错的样本来说，它产生的梯度信息则会更丰富，它更能指导模型优化的方向。对于单阶段分类器来说，简单样本的数量非常大，他们产生的累计贡献在模型更新中占主导作用，而这部分样本本身就能被模型很好地分类，所以这部分的参数更新并不会改善模型的判断能力，这会导致整个训练变得低效。因此单阶段目标检测中样本不均衡性的本质是简单困难样本的不均衡性。
    OHEM(在线困难样本挖掘)方法：根据输入样本的损失进行筛选，筛选出困难样本（即对分类和检测影响较大的样本），然后将筛选得到的这些样本应用在随机梯度下降中训练（Fast-rcnn使用）。OHEM优点：1).对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，这种在线选择方式针对性更强；２).随着数据集的增大，算法的提升更加明显； OHEM缺点：只保留loss较高的样本，完全忽略简单的样本，这本质上是改变了训练时的输入分布（仅包含困难样本），这会导致模型在学习的时候失去对简单样本的判别能力。
    S-OHEM方法：考虑OHEM训练过程忽略了不同损失分布的影响（整体loss大并非是难分样本，可能是分类损失小回归损失大），因此S-OHEM根据loss的分布抽样训练样本。它的做法是将预设loss的四个分段：
    在这里插入图片描述
    在这里插入图片描述
    S_OHEM优点：相比原生OHEM，S-OHEM考虑了基于不同损失函数的分布来抽样选择困难样本，避免了仅使用高损失的样本来更新模型参数． OHEM缺点：因为不同阶段，分类损失和定位损失的贡献不同，所以选择损失中的两个参数 需要根据不同训练阶段进行改变，当应用与不同数据集时，参数的选取也是不一样的，即引入了额外的超参数。
    A-Fast-RCNN（基于对抗生成网络的方式来生成困难样本）方法：通过GAN的方式在特征空间产生具有部分遮挡和形变（本文主要考虑旋转特性）的困难样本，而这部分样本数据很难出现在实际训练数据集中．本文通过生成的方式来教网络什么是“遮挡”和“变形”，区别于传统的直接生成样本图片的方法，这些变换都是基于特征图的。该方法优点：与OHEM相比，区别在于文本的方法是构建不存在的Hard Poistive样本，而OHEM是挖掘现有样本中的。
    该方法缺点：从改善效果上来讲，A-Fast-RCNN的方法的效果并不比 OHEM 好太多，也许是仿造的数据和真实性还存在差距，此外GAN网络也比较难训练。
    focal loss方法（retinaNET提出）：OHEM类型方法只考虑最困难样本而忽略了简单样本，可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。focal loss将样本平衡问题归结为难易样本的不平衡，从而更改交叉熵损失函数，重新对样本赋予不同的权值，之前的模型这些样本都是同等重要的，从而使模型训练更加关注 hard examples。
    focal loss 是基于交叉熵损失改进的，所以先介绍下交叉熵损失：
    在这里插入图片描述
    可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。
    focal loss的改进位置1:引入gamma参数使简单样本对loss的贡献度变小，使之更加关注困难样本：
    在这里插入图片描述
    focal loss的改进位置2:加入平衡因子alpha，用来平衡正负样本本身的比例不均：文中alpha取0.25，即正样本要比负样本占比小，这是因为负例易分。最终的focal loss为：
    在这里插入图片描述
    focal loss优点：解决训练样本中难易样本不均衡的问题；focal loss缺点：loss 存在两个超参数，调节该参数是一个费力的操作； loss 是一个不会随着数据分布变化而变化的静态 loss（不同的数据集需要手动调整以上超参数）。
    GHM方法：基于focal loss的以上两个缺点，提出GHM方法。核心思想的一句话: 类别的不平衡可以归结为难易样本的不平衡，难易样本的不平衡可以归结为梯度的不平衡。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    PISA方法:PISA 方法和 Focal loss 和 GHM 有着不同， Focal loss 和 GHM 是利用 loss 来度量样本的难以程度，而本篇论文作者从 mAP 出法来度量样本的难易程度。作者提出提出改论文的方法考虑了两个方面:样本之间不应该是相互独立的或同等对待;目标的分类和定位是有联系的。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

机器学习理论类：

  1. 写出全概率公式&贝叶斯公式
  2. 模型训练为什么要引入偏差(bias)和方差(variance)？ 证
  3. CRF/朴素贝叶斯/EM/最大熵模型/马尔科夫随机场/混合高斯模型
  4. 如何解决过拟合问题？
  5. One-hot的作用是什么？为什么不直接使用数字作为表示
  6. 决策树和随机森林的区别是什么？
  7. 朴素贝叶斯为什么“朴素naive”？
  8. kmeans初始点除了随机选取之外的方法
  9. LR明明是分类模型为什么叫回归
  10. 梯度下降如何并行化
  11. 梯度下降如何并行化
  12. LR中的L1/L2正则项是啥
  13. 简述决策树构建过程
  14. 解释Gini系数
  15. 决策树的优缺点
  16. 出现估计概率值为 0 怎么处理
  17. 随机森林的生成过程
  18. 介绍一下Boosting的思想
  19. gbdt的中的tree是什么tree？有什么特征
  20. xgboost对比gbdt/boosting Tree有了哪些方向上的优化
  21. 什么叫最优超平面
  22. 什么是支持向量
  23. SVM如何解决多分类问题
  24. 核函数的作用是啥

特征工程类：

  1. 怎么去除DataFrame里的缺失值？
  2. 特征无量纲化的常见操作方法
  3. 如何对类别变量进行独热编码？
  4. 如何把“年龄”字段按照我们的阈值分段？
  5. 如何根据变量相关性画出热力图？
  6. 如何把分布修正为类正态分布？
  7. 怎么简单使用PCA来划分数据且可视化呢？
  8. 怎么简单使用LDA来划分数据且可视化呢？

深度学习类：

  1. 你觉得batch-normalization过程是什么样的
  2. 激活函数有什么用？常见的激活函数的区别是什么？
  3. Softmax的原理是什么？有什么作用？
    CNN的平移不变性是什么？如何实现的？
  4. VGG，GoogleNet，ResNet等网络之间的区别是什么？
  5. 残差网络为什么能解决梯度消失的问题
  6. LSTM为什么能解决梯度消失/爆炸的问题
  7. Attention对比RNN和CNN，分别有哪点你觉得的优势
  8. 写出Attention的公式
  9. Attention机制，里面的q,k,v分别代表什么
  10. 为什么self-attention可以替代seq2seq

NLP类：
12. GolVe的损失函数
13. 为什么GolVe会用的相对比W2V少
14. 层次softmax流程
15. 负采样流程
16. 怎么衡量学到的embedding的好坏
17. 阐述CRF原理
18. 详述LDA原理
19. LDA中的主题矩阵如何计算
20. LDA和Word2Vec区别？LDA和Doc2Vec区别
21. Bert的双向体现在什么地方
22. Bert的是怎样预训练的
23. 在数据中随机选择 15% 的标记，其中80%被换位[mask]，10%不变、10%随机替换其他单词，原因是什么
24. 为什么BERT有3个嵌入层，它们都是如何实现的
25. 手写一个multi-head attention

推荐系统类：
26. DNN与DeepFM之间的区别
27. 你在使用deepFM的时候是如何处理欠拟合和过拟合问题的
28. deepfm的embedding初始化有什么值得注意的地方吗
29. YoutubeNet 变长数据如何处理的
30. YouTubeNet如何避免百万量级的softmax问题的
31. 推荐系统有哪些常见的评测指标？
32. MLR的原理是什么？做了哪些优化？

计算机视觉（CV）类：
33. 常见的模型加速方法
34. 目标检测里如何有效解决常见的前景少背景多的问题
35. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的，假设网络拟合能力无限强
36. ROIPool和ROIAlign的区别
37. 介绍常见的梯度下降优化方法
38. Detection你觉的还有哪些可做的点
39. mini-Batch SGD相对于GD有什么优点
40. 人体姿态估计主流的两个做法是啥？简单介绍下
41. 卷积的实现原理以及如何快速高效实现局部weight sharing的卷积操作方式
42. CycleGAN的生成效果为啥一般都是位置不变纹理变化，为啥不能产生不同位置的生成效果

wonengguwozai
关注
专栏目录
2024年Unity 面试题 |五萬字 二佰道| Unity面试题大全，面试题总结【全网最全，收藏一篇足够面试】
努力前行，总会成为自己心中的那道光
02-23 12万+
正所谓 金三银四 ，又到了找工作的大好时机了，不知道大家有没有意向找一份更好的工作呢~ 之前写了很多Unity的学习和实例文章，但是面试题部分还没有一个系统的整理。 那本篇文章就来整理一下Unity中一些常见的面试题，说不准就会面试的时候就会遇到！ 本篇文章会将Unity所有方面的面试资料都融会贯通，绝对是2022年Unity面试领域最实用的文章啦！
C++常用软件分析工具从入门到精通案例集锦汇总
热门推荐
dvlinker的技术专栏
06-26 11万+
C++软件分析工具案例分析集锦！根据近几年C++软件异常排查的项目实践，详细地讲述如何使用PE工具、Dependency Walker、GDIView、Process Explorer、Process Monitor、API Monitor、Clumsy、DebugDiag、Windbg、IDA Pro等常用分析工具，以及如何使用这些工具去巧妙地分析和解决日常工作中遇到的问题，有很强的实战参考价值！
人工智能算法岗笔试题（截图）.pdf
07-17
本文档为阿里2018年算法笔试题，为截图格式。有需要的可以参考下
AI算法题-1
余生的博客
09-28 392
深度学习的常见的初始化： Pre-train初始化 高斯分布初始化 Xavier初始化：标准正态分布，均匀分布 Kaiming初始化：标准正态分布，均匀分布 Lecun 正交矩阵初始化 稀疏矩阵初始化 单位矩阵初始化 SVM损失函数： 线性支持向量机SVM： 在学习支持向量机的过程中，因为其损失函数的形状像一个合页，故命名合页损失函数。 下图为合页损失函数的图像： 横轴表示函数间隔，我们从两个方面来理解函数间隔： 正负 当样本被正确分类时，y(wx+b)>0；当样本被错误分类时，y(wx+b)&lt
知识体系、算法题、教程、面经，这是一份超赞的AI资源列表
AI科技大本营
07-22 3516
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）导读：近日，有人在 GitHub 上开源了一个名为“Awesome Interview”的技术面试集锦，...
学习：自己动手写word2vec (一):主要概念和流程
czp_374的博客
11-11 355
word2vec 是 Google 于 2013 年开源推出的一个用于获取词向量（word vector）的工具包，它简单、高效，因此引起了很多人的关注。我在看了@peghoty所写的《word2vec中的数学以后》（个人觉得这是很好的资料，各方面知识很全面，不像网上大部分有残缺），为了加深理解，自己用Python实现了一遍。贴在我的github上 系列所有帖子 自己动手写word2vec (一...
[AI]搜索算法 规划算法PDDL 人工智能练习题汇总
土豆大叔的博客
10-24 1310
无信息搜索： 深度优先、广度优先、迭代加深搜索练习题 启发式搜索： 循环检测 Loop Check 禁止数字Forbidden Numbers 3传教士3食人族、单臂机器人、汉诺塔 启发式可采纳性练习题
web常见面试问题及答案
最新发布
07-18
我们可以看出，在 Web 开发过程中，无论是从基础的技术细节（如 CSS 选择器的优先级），还是到高级的应用场景（如 React 和 Vue 的对比），或是到实际项目中的性能优化和安全防护，都有许多值得我们关注和掌握的重点...
Java面试常见问题总结
m0_67265464的博客
06-24 641
Java 面试随着时间的改变而改变。在过去的日子里，当你知道 String 和 StringBuilder 的区别就能让你直接进入第二轮面试，但是现在问题变得越来越高级，面试官问的问题也更深入。 在我初入职场的时候，类似于 Vector 与 Array 的区别、HashMap 与 Hashtable 的区别是最流行的问题，只需要记住它们，就能在面试中获得更好的机会，但这种情形已经不复存在。如今，你将会被问到许多 Java 程序员都没有看过的领域，如 NIO，设计模式，成熟的单元测试，或者那些很难掌握的知识，
133个Java面试问题列表
weixin_70730532的博客
09-02 275
Java 面试随着时间的改变而改变。在过去的日子里，当你知道 String 和 StringBuilder 的区别就能让你直接进入第二轮面试，但是现在问题变得越来越高级，面试官问的问题也更深入。在我初入职场的时候，类似于 Vector 与 Array 的区别、HashMap 与 Hashtable 的区别是最流行的问题，只需要记住它们，就能在面试中获得更好的机会，但这种情形已经不复存在。如今，你将会被问到许多 Java 程序员都没有看过的领域，如 NIO，
AI算法编程竞赛回顾与题解-1.pptx
10-05
2019年9月格灵深瞳举办的AI算法竞赛，面向全国技术人员，该文档为大赛结束后的官方赛题讲解演示文档。
阿里巴巴2018人工智能算法岗笔试题
09-07
新鲜出炉的阿里巴巴笔试题，今年人工智能两个答题全部都是NLP
面试通用问题
憤怒的前進的专栏
03-12 278
通用问题指的是对于你简历中的个人经历、研究项目、编程实践进行发问主要是围绕你的简历内容进行提问。这是绝大部分技术面试必然有的内容。 在这部分面试中 提醒大家注意以下几点          1、自己没有做过的项目没有编过的程序千万不要往简历上写因为在面试环节肯定会被问出来那样不管你其它环节多优秀都将马上被淘汰因为任何企业都不能容忍不诚实的人。           2、对于自己简历上的内...
AI算法面试题总结二（深度学习）
IT_Herven的博客
10-02 723
深度学习 参考链接： https://mp.weixin.qq.com/s/1GavvCY7wUetMvC61gxkLg https://zhuanlan.zhihu.com/p/190223015 1 - 神经网络怎样进行参数初始化？ 一些定义：神经网络的参数主要是权重（weights）：W， 和偏置项（bias）：b。 训练神经网络的时候需先给定一个初试值，才能够训练，然后一点点地更新，但是不同的初始化方法，训练的效果可能会截然不同。 解答：1）神经网络不可用0来初始化参数！ 2）随机赋值是为了打.
AI面试刷题版
weixin_30784945的博客
07-20 982
（1）代码题（leetcode类型），主要考察数据结构和基础算法，以及代码基本功 虽然这部分跟机器学习，深度学习关系不大，但也是面试的重中之重。基本每家公司的面试都问了大量的算法题和代码题，即使是商汤、face++这样的深度学习公司，考察这部分的时间也占到了我很多轮面试的60%甚至70%以上。我去face++面试的时候，面试官是residual net，shuffle net的作者；...
AI算法面试题总结三（计算机视觉）
IT_Herven的博客
10-03 2731
计算机视觉 参考链接： https://mp.weixin.qq.com/s/1GavvCY7wUetMvC61gxkLg https://zhuanlan.zhihu.com/p/190223015 1 - 如何计算 mIoU？ 一些定义：在计算机视觉深度学习图像分割领域中，mIoU值是一个衡量图像分割精度的重要指标。mIoU可解释为平均交并比，即在每个类别上计算IoU值（即真正样本数量/（真正样本数量+假负样本数量+假正样本数量）） 解答：假设如下：共有k+1个类（从L0到Lk，其中包含一个空类或.
AI面试必刷算法题 附答案和解析 --持续更新中
qq_16027093的博客
05-04 3501
面试中发现很多同学一股脑优化、润色项目经历，但聊到基本的算法，反而会一脸懵X，得空整理下算法题给大家，希望对你有帮助。
40万年薪的算法岗位，面试官到底问些什么？
qq13321123的博客
06-16 2118
2015年自从我担任当时算法组的小组leader，我作为面试官面试了不少同学。前前后后面试了超过200名同学，其中有不少入职的同学后来发展都不错，也坚定了自己对于选人的标准的自信心。 今年2020年找工作尤其艰难，我把这些年作为面试官一些重要的面试题整理出来，一共80道，希望能够帮助到大家，为了方便大家，我做了一个归类，一共分成了6大类，分别是：机器学习，特征工程，深度学习，NLP，CV，推荐系统。这些知识既是面试中的常见问题，也可以作为大家整理自己思路的参考资料。 机器学习理论类： ...
从YOLOv4看模型优化方法
wonengguwozai的博客
06-16 3869
YOLOv4中相关优化方法 1.Bag of freebies（增加训练时间，不影响推理速度下提升性能） 1.1 数据增强： 亮度、对比度、色调、饱和度、噪音等 随机缩放、裁剪、翻转、旋转等 模拟遮挡 random erase or CutOut: 随机将图像中的矩形区域随机填充像素值或置零 MixUp：将两张图像按照一定比例因子进行叠加融合，该比例因子服从B分布。融合后的label包含两张图像的所有标签。 CutMix：从一张图中crop一块矩形图像到另一张图中，对应融合后图像的label也
项目管理面试攻略：常见理论问题与解答
在项目管理理论面试中，企业往往会询问一系列关键问题，以便了解应聘者的专业知识、经验和管理策略。以下是一些典型问题及其解答： 1. **公司优先级**：面试官可能关心公司的整体战略和项目间的优先级排序，以评估...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值