算法岗面试问题总结（一）

1. 回归可以设置SVM？

可以，SVM是判断回归f(x)==y的时候才预测准确，计算损失函数；
回归支持向量SVR是|f(x)-y|<alpha的时候就认为预测准确了。

2. 核函数特点，SVM线性不可分怎么办？

SVM是线性分类器，但是遇到线性不可分的时候就需要映射到高维（特征空间）就线性可分了。实现这个过程就需要核函数。
核函数是在低维上进行计算，将分类效果展示在高维。

线性核函数
多项式核函数
高斯核函数（径向基核函数）
sigmoid核函数

3. 说一说Xgboost和lightGBM的区别是什么？

lightGBM是Xgboost的更高实现，微软发布的。
Xgboost处理的问题时决策树训练时特征值排序浪费时间的问题。Xgboost在训练之前先将数据进行排序，这些排序好的数据组成一个个block。在节点分裂时，需要计算每个特征值的增益，然后找到最大增益的特征做分裂。这些block使得各个特征的增益能够多线程计算。

lightGBM主要是在上述的模型下进行改进。主要改进有两点，一是在不牺牲计算速度的情况下，尽可能发挥内存的最大使用率；二是减小通信代价，提高多线程运行的速度和效率。主要计数手段是并行方案改进、基于梯度的单边检测（GOSS）、排他性特征捆绑。

4. 谈一谈决策树的实现逻辑 信息增益、信息增益率公式

决策树是最简单的分类机器学习算法，其包括根节点（样本全集）、内部节点（样本的特征）、叶节点（决策结果）。决策树执行时，根据某个属性判断根节点里面的数据该进入哪个叶节点，一直到最后一个叶节点给出分类结果。是if-then-else规则的有监督学习算法。

信息增益=信息熵-条件熵

信息熵：实际上就是信息量的大小，而信息量的大小由这个事件发生概率的大小表征，概率越大，信息量越小。

条件熵：在某一前提条件下事件发生的不确定性

信息增益率公式为

5.卷积神经网络和全连接网络的根本不同之处在哪里

卷积神经网络至少含有一个卷积层，最后一层一般是全连接层；
全连接层的上一层每个神经元都会和下一层的每个神经元链接，没有卷积层。

全连接层：关注全局信息，计算量巨大、耗时，输入维度需要匹配
卷积层：局部链接，神经元参数共享（滑动窗口不变）

卷积层需要参数少，防止过拟合；只需要考虑上下文信息或共享信息就好。

二者都属于线性层，只能拟合线性函数。如果需要拟合非线性，则需要通过ReLU等引入非线性。

6.请你说说RF和SVM的特点，评价

SVM主要目的是通过支持向量确定一个几何间隔最大的超平面将数据集划分开来。它可以分离线性可分的数据，也可以通过软间隔分离似线性可分的数据，更可以通过核函数将数据映射到高维空间时间非线性数据的分离

RF（随机森林）是在决策树的基础上改进的，因为一棵树能选取的特征有限。因此就用多棵树来选择，这些树是随机生成的，每棵树的每一个节点都是特征值的子集，这样每棵树都会输出分类的结果。对于一个分类问题来说，将最后每棵树的结果求众数得到最终结果；对于回归问题来说就求平均值代表最后的结果。

SVM优点：

• 解决小样本下机器学习问题（不像深度学习一样，依赖海量数据）
• 可以解决高维问题，即大型特征空间（借助核函数）；但当样本很多时，效率并不是很高
• SVM的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数
• 无需依赖整个数据，无局部极小值问题；但SVM算法对大规模训练样本难以实施
• 能够处理非线性特征的相互作用，对于核函数的高维映射可解释性不强，尤其是径向基函数RF

RF优点：

• 简单，容易实现，计算开销小，并且它在很多现实任务中展现出来了强大的性能
• 它能够处理很高维度（特征很多）的数据，并且不用做特征选择（可以随机选择各种特征）
• 训练速度快，容易做成并行化方法
• 在训练完后，它能够给出哪些feature比较重要
• 在创建随机森林的时候，对generlization error使用的是无偏估计，模型泛化能力强
• 对于不平衡的数据集来说，它可以平衡误差；如果有很大一部分的特征遗失，仍可以维持准确度

7. Triplet Loss 怎么生成那三个点

训练前，Anchor和Positive的距离较远，和Negetive的距离较近。训练完之后相反
所以选择的依据是，同类图片中最不像的作为Positive pair，那么最不像的距离都很近，其他的自然就很近了；
选择不同类图片中最像的作为Negetive pair，不同类最像的距离都挺远，其他的更远了。

8. LSTM解决了RNN的什么问题，如何解决？

RNN（递归神经网络）：它是一个以序列作为输入的神经网络，它的每一个隐层的数据都是由上一个隐层经过变换和激活函数得到的。因此，在进行反向传播求导时会携带上每一步梯度的连乘，这会导致梯度爆炸或者梯度消失。因此它很难处理长程依赖。

LSTM在传播过程中，它的梯度表示为

这个梯度值在每一步可以自主在[0,1]之间选择，因此梯度不会因此而消失，也就是它的每一步梯度可以说是独立的。所以远距离下梯度也不会消失。

9. 请你说说逻辑回归

逻辑回归是衡量我们想要获得的标签与特征之间的关系。这个关系以一个logistic函数给出，这个函数也叫sigmoid函数，这个函数的值位于0到1之间，是一个模拟值。


但是作为二分类，结果输出必须是0或者1，因此这个函数也将每个神经元的输出进行归一化。一般计算得到的结果表示为分类结果为1的概率，然后给出归一化值0或者1.

10. 说说各种loss的书写

（1）平方误差损失，L2 loss。 代价函数为平方误差损失的均值

（2）绝对误差损失。L1 loss

（3）smooth L1损失

（4）合页损失 Hinge loss 主要用在标签为-1和1的SVM中

（5）二分类交叉熵损失函数 Binary Cross Entropy Loss
起始就是描述不确定性，分类正确，则不确定小，分类错误，不确定大。