机器学习面试常考点

最新推荐文章于 2022-10-25 15:53:31 发布
最新推荐文章于 2022-10-25 15:53:31 发布
阅读量309 收藏 1
点赞数
分类专栏： 面试经验分享 文章标签： 机器学习 面试 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/diana003/article/details/122636689
版权
Table of Contents

各类激活函数的比较

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iY1E6kGS-1642830845125)(/assets/img/post_img/6.png)]

取值范围：(0,1),(-1,1),[0,inf]

能根据输出的值判断使用的激活函数

对数几率回归（logistics regression）和一般回归分析有什么区别？：
A. 对数几率回归是设计用来预测事件可能性的
B. 对数几率回归可以用来度量模型拟合程度
C. 对数几率回归可以用来估计回归系数
D. 以上所有
答案：D

召回率、准确率、精确率

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lReO0SSI-1642830845137)(/assets/img/post_img/7.png)]

准确率(Accuracy)

准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN)

缺点：结果偏向样本数量大的样本，不适用于糖尿病等疾病的监测（由于正常人占比远远大于患糖尿病等疾病的人，因此当模型的准确率很高的时候，并不能相信该模型是优秀的，因为这高准确率主要由TN来决定来，但在这种情况下，我们更关注TP尽可能大）

精确率(Precision)

精确率(precision) = TP/(TP+FP)

缺点：只关心正样本的准确率

召回率(Recall)

召回率(recall) = TP/(TP+FN)

适用于“犯罪监测”，此时关心被误判数量仅可能小，也就是FN尽可能小，TP尽可能大

假设我们要解决一个二类分类问题, 我们已经建立好了模型, 输出是0或1, 初始时设阈值为0.5, 超过0.5概率估计, 就判别为1, 否则就判别为0 ; 如果我们现在用另一个大于0.5的阈值, 那么现在关于模型说法, 正确的是 :
A. 模型分类的召回率会降低或不变
B. 模型分类的召回率会升高
C. 模型分类准确率会升高或不变
D. 模型分类准确率会降低
答案: AC

the true positive rate will stay the same if we keep increasing the cutoff from 0.5 to 0.75, since the all real positive samples can still be predicted to the positive samples, and the true positive rate only rely on the number of real positive sample.

训练误差和测试误差

随着训练样本的增多，平均训练误差会逐渐增大，平均测试误差会逐渐减小。由于训练数据增多，使得原先拟合模型效果变差，因此训练误差变差，但随着训练数据的增多，最终使得整体拟合效果更好，则测试误差会越小，因此训练误差和测试误差之间的差距就会减小。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YJRA8apM-1642830845139)(/assets/img/post_img/8.png)]

过拟合和欠拟合

过拟合

  • 在训练集上的表现好，但在测试集上的表现能力差。
  • 模型偏差为0，方差大
  • 泛化能力差

欠拟合

  • 对训练样本的一般性质尚未学好
  • 模型偏差大，方差为0

产生过拟合的原因

  1. 模型过于复杂
    • 特征过多
    • 神经元过多
    • 核函数选择的过于复杂
  2. 训练数据量太少

产生欠拟合的原因

  1. 模型过于简单
  2. 训练数据量过多

过拟合的解决办法

  1. 增加数据量
  2. 降低模型的复杂度
  3. 添加正则化项
  4. 如果有正则项，则适当增大正则化系数
  5. 集成学习的方法
  6. 特征降维
  7. 交叉验证

欠拟合的解决办法

  1. 添加新特征，如在决策树学习中扩展分支，在神经网络学习中增加训练次数
  2. 增加模型的复杂度，尝试使用核SVM，DNN，决策树
  3. 如果有正则项，减少正则化系数

用来划分样本的方法

  1. 随机设置比例
  2. 交叉验证
  3. 自助采样：适用于数据集较小，集成学习
  4. 留出法

算法是否需要调参

需要进行调参的算法

  1. 神经网络
  2. SVM
  3. 岭回归
  4. LASSO
  5. 加权线性回归
  6. LR
  7. K-Means
  8. AdaBoost
  9. GMM

不需要进行调参的算法

  1. 决策树
  2. LDA
  3. NB
  4. 线性回归

算法是否需要迭代

需要经过多次迭代的算法

  1. LR
  2. 决策树
  3. 神经网络
  4. 聚类
  5. AdaBoost
  6. SVM

不需要经过多次迭代的算法

  1. LDA
  2. 线性回归
  3. NB

算法是否需要归一化处理

需要进行归一化的算法

需要进行梯度下降操作的算法

因为当不归一化的时候可能在梯度下降法寻求最优解时，收敛速度很慢迭代次数很多。

e.g.LR，SVM，AdaBoosting,神经网络

需要进行计算距离的算法

因为如果其中一个特征值域范围很大，那么在进行距离计算的时候就主要取决于这一个特征而忽视其他特征。

e.g.KNN，K-Means，LDA

不需要进行归一化的算法

树形结构的算法

由于树形结构寻找最优解的时候采用的不是梯度下降（因为树形结构模型是分段的一般不可导），而是通过寻找最优分裂点

e.g.决策树，随机森林，XGBoost,Boosting Tree，GBDT

概率模型

高斯混合模型(GMM)，朴素贝叶斯，LR

逻辑斯蒂回归和线性回归的区别

①逻辑斯蒂回归解决的是分类问题，而线性回归解决的则是预测问题。逻辑斯蒂回归将实例x划分到条件概率最大的那一类。
②逻辑斯蒂回归的因变量是离散的，而线性回归得因变量是连续的，逻辑斯蒂回归可以看成是对数几率的线性回归。
③逻辑斯蒂回归参数求解的过程中，使用到了极大似然估计而线性回归则使用最小二乘法。二者在求解时均用到了梯度下降的方法。

生成模型和判别模型

  1. 生成式模型估计它们的联合概率分布P(x,y)
  2. 判别式模型估计决策函数F(X)或后验概率分布P(y|x)

生成模型

  1. GMM

  2. 朴素贝叶斯

  3. HMM（隐马尔可夫模型）

判别模型

  1. SVM
  2. LDA
  3. 神经网络
  4. 线性回归
  5. 。逻辑回归
  6. 决策树
  7. Boosting

参数模型和非参数模型

参数模型

  1. 逻辑回归
  2. 线性成分分析
  3. 感知机
  4. 线性判别分析（LDA）
  5. 朴素贝叶斯
  6. K-Means

非参数模型

  1. 决策树
  2. KNN
  3. 支持向量机
  4. 神经网络

线性分类器和非线性分类器

线性分类器

LR,贝叶斯分类，单层感知机，线性回归，SVM（线性核）,LDA，朴素贝叶斯，

非线性分类器

决策树、多层感知机（神经网络），KNN，SVM（非线性核）

根据特征数量与样本数量比选择分类器

  1. 当特征数量很大且与样本数量差不多，选择LR或SVM(线性核)
  2. 当特征数量较小，样本数量一般时，选择SVM(非线性核）
  3. 当特征数量较小而样本数量很多，选择添加特征变为第一种

解决类别不平衡问题

  1. 直接对训练集中占多数的类别样本进行“欠采样”
  2. 对训练集中占少数的类别样本进行“过采样”（如通过对该类数据进行插值），也就是复制多个该类别样本
  3. 阈值移动
  4. 直接基于原数据集进行学习，对预测值进行再缩放处理

异常点敏感度

异常值敏感的算法

线性回归，LR,AdaBoosting，SVM

异常值不敏感的算法

各算法对应的损失函数

  1. 最小二乘法——均方误差
  2. SVM——Hinge Loss
  3. LR——对数损失
  4. AdaBoosting——指数损失函数
Diana003
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习面试必考面试题汇总—附解析
julyedu_7的博客
12-03 1706
问题：xgboost对特征缺失敏感吗，对缺失值做了什么操作，存在什么问题 不敏感，可以自动处理，处理方式是将missing值分别加入左节点 右节点取分裂增益最大的节点将missing样本分裂进这个节点 。这种处理方式的问题在xgboost仅仅在特征的非缺失的值上进行分裂然后missing值直接放入其中一个节点，显然当缺失值很多的情况下，比如缺失80%，那么xgb分裂的时候仅仅在20%的特征值上分裂，这是非常容易过拟合的。 问题：简要说一下Lightgbm相对于xgboost的优缺点 优点：直方图算
机器学习面试考点
Aaron_qinfeng的博客
12-20 719
文章目录一、线性回归(Linear Regression)1.线性回归问题描述2.模型设计3.损失函数4.算法5.推广多项式回归广义线性回归6.正则化L1正则L2正则二、逻辑回归（Logistic Regression）1.从线性回归到逻辑回归2.二元逻辑回归模型3.二元逻辑回归的损失函数4.二元逻辑回归损失函数的优化方法5.二元逻辑回归的正则化6.二元逻辑回归推广：多元逻辑回归one-vs-re...
机器学习面试知识点
luccao的博客
09-03 263
深度学习 1. 前向推导 z(l+1)=W(l)x(l)+b(l)z(l+1)=W(l)x(l)+b(l)z^{(l+1)} = W^{(l)}x^{(l)} + b^{(l)} a(l+1)=f(z(l+1))a(l+1)=f(z(l+1))a^{(l+1)} = f(z^{(l+1)}) 这是一个CNN中前向推导的通用公式 2. 梯度消失与梯度爆炸 　　梯度消失：这本质上是由于激...
机器学习面试知识点整理
个人记录使用
08-03 1775
各模型的优缺点及适用场景？ 一、传统机器学习算法 感知机、SVM、LR、Kmeans、DBSCAN、决策树（CART、ID3、C4.5）、GBDT、RF、AdaBoost、XGBoost、LightGBM、EM、BP神经网络、朴素贝叶斯、LDA、PCA、核函数、最大熵 二、深度学习 CNN、RNN、LSTM、常用激活函数、Adam等优化算法、梯度消失（爆炸） 三、推荐系统 ItemBasedCF、userBasedCF、冷启动、SVD（各种变形）、FM、LFM 四、NLP TF-IDF、TextRank、W
机器学习面试复习知识点
jiang_ming_的博客
09-23 689
1：有监督和无监督学习的区别 有监督学习：对有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。（LR,SVM,BP,RF,DBRT） 无监督学习：对未标记的训练样本进行学习，比如发现这些样本的结构知识，分布情况等。（KMeans,DL） 半监督学习：所给的训练样本一部分是有标签的一部分是没有标签的，若我们先使用有标记的样本数据集训练出一个学习器，再基于该学习器对未标记的样本...
机器学习、深度学习、NLP面试常考点及代码实现.zip
最新发布
08-15
机器学习、深度学习、NLP面试常考点及代码实现 ----- 毕业设计，课程设计，项目源码均经过助教老师测试，运行无误，欢迎下载交流 ----- 下载后请首先打开README.md文件（如有），某些链接可能需要魔法打开。 ----- ...
svm面试常考点
02-17
### 支持向量机(SVM)面试常考点解析 #### 一、支持向量机基础知识结构 **支持向量机**(Support Vector Machine, SVM)是一种广泛应用于分类和回归任务的监督学习模型。其核心思想是在高维空间中寻找一个最佳的超...
计算机视觉面试考点（17）反向传播
嘻嘻哈哈yjy的博客
05-08 1320
计算机视觉工程师在面试过程中主要考察三个内容：图像处理、机器学习、深度学习。然而，各类资料纷繁复杂，或是简单的知识点罗列，或是有着详细数学推导令人望而生畏的大部头。为了督促自己学习，也为了方便后人，决心将常考必会的知识点以通俗易懂的方式设立专栏进行讲解，努力做到长期更新。此专栏不求甚解，只追求应付一般面试。希望该专栏羽翼渐丰之日，可以为大家免去寻找资料的劳累。每篇介绍一个知识点，没有先后顺序。想了...
2021最新大厂AI面试题：107题（含答案及解析）.pdf
11-09
这份文件是一系列的AI面试题目及解析，涵盖了机器学习、深度学习、自然语言处理（NLP）、推荐系统等多个领域，涉及到了众多的算法和模型。下面详细展开说明这些知识点。 首先，京东AI岗位面试题中提到了逻辑回归。...
计算机视觉面试考点（10）池化
嘻嘻哈哈yjy的博客
04-22 2219
计算机视觉工程师在面试过程中主要考察三个内容：图像处理、机器学习、深度学习。然而，各类资料纷繁复杂，或是简单的知识点罗列，或是有着详细数学推导令人望而生畏的大部头。为了督促自己学习，也为了方便后人，决心将常考必会的知识点以通俗易懂的方式设立专栏进行讲解，努力做到长期更新。此专栏不求甚解，只追求应付一般面试。希望该专栏羽翼渐丰之日，可以为大家免去寻找资料的劳累。每篇介绍一个知识点，没有先后顺序。想了...
线性回归与对数几率(Logistic)回归的区别与联系
普通攻击往后拉的博客
03-31 4857
1 线性回归 线性回归其实就是高中讲过的那种回归，但是不同的是线性回归在神经网络这个学科里大多使用梯度下降来计算参数w,bw,bw,b，而高中讲的是使用最小二乘法。 线性回归想解决的问题也是回归问题，公式： y=wx+b y=wx+by=wx+b 也可以写成： hθ(x)=θx h_\theta(x) =\theta x hθ​(x)=θx 用图形表示的话： 如果更新方式使用梯度下降，其中损...
西瓜书习题 - 2.模型评估与选择
热门推荐
wdn blog
10-25 1万+
西瓜书第二章练习题
对数几率回归（Logistic Regression）分析与实践
Findingxu的博客
11-07 1万+
目录 1 对数几率回归原理分析 1.1 引入 1.2 损失函数 1.3  求最优解 2 对数几率回归实践 Logistic回归的一般过程 Logistic回归的优缺点 Logistic回归算法描述（改进的随机梯度下降） 《机器学习实战》第五章代码解析          5-1 Logistic回归梯度上升优化方法 5-2 画出数据集和Logistic回归最佳拟合直线的函数 ...
机器学习习题（14）
刘炫320的博客
01-27 9525
本次习题则主要侧重于支持向量机、KNN和性能评估上。 1.我们想要减少数据集中的特征数, 即降维. 选择以下适合的方案 : (1)使用前向特征选择方法 (2)使用后向特征排除方法 (3)我们先把所有特征都使用, 去训练一个模型, 得到测试集上的表现. 然后我们去掉一个特征, 再去训练, 用交叉验证看看测试集上的表现. 如果表现比原来还要好, 我们可以去除这个特征
一个月刷完机器学习笔试题300题（6）
ZHANG781068447的博客
11-03 2931
第六天 61、bootstrap数据是什么意思？（提示：考“bootstrap”和“boosting”区别） A 有放回地从总共M个特征中抽样m个特征 B 无放回地从总共M个特征中抽样m个特征 C 有放回地从总共N个样本中抽样n个样本 D 无放回地从总共N个样本中抽样n个样本 正确答案是：C bootstrap其实就是bagging的意思，是Bootstrap Aggregating的缩写，根据定...
Logistic回归实战篇之预测病马死亡率（三）
燕哥带你学算法
10-21 7920
作 者：崔家华 编 辑：李文臣 四、使用Sklearn构建Logistic回归分类器 开始新一轮的征程，让我们看下Sklearn的Logistic回归分类器！ 官方英文文档地址：http://scikit-learn.org/dev/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.
机器学习基础总结
Bebr的博客
12-07 1万+
1、简要介绍SVM，如何调节惩罚因子、如何防止过拟合、手推SVM。 实际上只有“离群点”才有松弛变量与其对应。 松弛变量的值越大，离群点就越远。 惩罚因子C决定了你有多重视离群点带来的损失，当所有离群点的松弛变量的和一定时，C越大，对目标函数的损失也越大，此时就暗示着你非常不愿意放弃这些离群点。最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题...
机器学习面试知识点总结(更新中...)
Meggie的博客
04-23 3507
参考资料： https://blog.csdn.net/weixin_40355324/article/details/80426952 https://www.cnblogs.com/zuochongyan/p/5407053.html 监督学习和非监督学习的区别？ 监督学习有标签（神经网络，SVM等），非监督学习无标签（聚类等）。 对SVM的理解（损失函数，求解方式，推导，特性，多分类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值