常见的机器学习面试题及解答(二)

往期回顾

常见的机器学习面试题及解答(一)

1. 请你谈一下对于SGD,Momentum,Adagard,Adam,RMSprop原理的认识

1. SGD随机梯度下降，与数据集的batch有关。
2. Momentum梯度指数衰减。
3. Adagard可自动变更学习率。对训练样本中很少出现的特征使用较大的学习率。
4. Adam每次迭代后的学习率有个确定的范围。
5. RMSprop：对每个更新分量使用不同的学习率。它使用每个参数的梯度幅度的指数移动平均值除以该平均值的平方根对梯度进行归一化。

在Adagard中，二阶动量是单调递增的，使得学习率递减至0，可能导致训练过程提前结束。为了改进这一缺点，计算在二阶动量时，不累计全部历史梯度，而只关注最近某一时间窗口内的下降梯度。

2. 请你简要描述一下，XGBOOST和GDBT的区别是什么

优化方式不同：

• XGBOOST在函数空间中使用了牛顿法进行优化。
• GDBT在函数空间中利用梯度下降法进行优化。

即XGBOOST对损失函数进行了二阶泰勒展开,用到了一阶和二阶导数信息。而GDBT在优化中使用了一阶导数信息。

https://www.nowcoder.com/interview/ai/report?roomId=180739

3. K-means算法原理、聚类效果评价及优缺点

K-Means聚类算法 — 算法原理、质心计算、距离度量、聚类效果评价及优缺点

4. 什么是DBSCAN

  DBSCAN是一种基于密度的空间聚类算法，不需要定义簇的个数，而是将具有足够高密度的区域划分为簇，并在有噪声的数据中发现任意形状的簇，在此算法中将簇定义为密度相连的点的最大集合。

DBSCAN聚类算法 — 理论 + 图解 + 代码

5. Mean-Shift聚类算法原理

图解Mean-Shift聚类算法

6. TF-IDF算法介绍及实现

TF-IDF算法介绍及实现

7. TextRank进行关键词提取

TextRank讲解一：关键词提取算法