机器学习小组题复盘

1.写出你所知道的激活函数，写出其表达式以及图像.
答:逻辑函数（Sigmoid）：
使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。

其自身的缺陷，最明显的就是饱和性。从函数图可以看到，其两侧导数逐渐趋近于0，杀死梯度。


正切函数（Tanh）：
非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。

相对于sigmoid的好处是他的输出的均值为0，克服了第二点缺点。但是当饱和的时候还是会杀死梯度。


ReLU函数
优点：
1.解决了gradient vanishing问题 (在正区间)
2.计算速度非常快，只需要判断输入是否大于0
3.收敛速度远快于sigmoid和tanh

缺点：
1.ReLU的输出不是zero-centered
2.Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。

2.为什么在机器学习中引入激活函数，例如在房价预测中加入激活函数.
答:激活函数一般为非线性,可能逼近任何一种函数,例如神经网络中的非线性因素.如果不用激活函数,每一层输出的都是上一层输出的线性函数,而线性变化太单一,根本得不到我们想要的结果.这时就需要用到非线性函数.
在房价预测中,房价就是一系列的连续值,就可以在输出层面上用线性激活函数.
3.请简述随机梯度下降，批梯度下降的区别和各自的优点.
答:随机梯度下降仅以当前样本点进行最小值求解，通常无法达到真正局部最优解，但可以比较接近。属于大样本兼顾计算成本的折中方案。
批梯度下降得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果训练集很大,迭代速度会迅速减慢,这时就需要用随机梯度下降,可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了.
4.线性判别分析(LDA)中，我们想要最优化的两个数值是什么.
答:类内散度矩阵与类间散度矩阵.
5.请写出交叉熵损失函数.

交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。
6.下面回归模型中的哪个步骤/假设最能影响过拟合和欠拟合之间的平衡因素（A）
A. 多项式的阶数
B. 是否通过矩阵求逆或梯度下降学习权重
C.使用常数项
欠拟合与过拟合的差异在特征量选取的多少等其他因素决定的,而特征量的选取就体现在多项式的阶数上.
7.关于MLE（最大似然估计），下面哪一项或几项说法是正确的（ 1,3 ）

1 MLE可能不存在.
2 MLE总是存在.
3 如果MLE存在，可能不是唯一的.
4 如果MLE存在，肯定是唯一的.
8.以下关于线性回归和逻辑回归描述错误的是（C）
A.线性回归要求因变量是连续性数值变量,而逻辑回归要求因变量是分类型变量
B.线性回归直接分析因变量与自变量的关系,而逻辑回归分析因变量取某个值的概率与自变量的关系
C.线性回归要求因变量是分类型变量,而逻辑回归要求因变量是连续性数值变量
D.逻辑回归的因变量可以是二分类的,也可以是多分类的

补充:线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。
3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系
4）logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系

9.类别不平衡问题会带来什么影响，如何有效处理类别不平衡的问题.
答:类别不平衡是指分类任务中不同类别的训练样例数目差别很大的情况,会使学习器精度大大缩减,训练出来的往往没有价值.
解决方法:直接对训练集中多数类样本进行“欠采样”，即去除一些多数类中的样本使得正例、反例数目接近，然后再进行学习。或者多数类中随机选择一些样本组成样本集 。然后将样本集从多数类中移除。组成新的数据集 。

10.回归任务中最常用的性能度量.
答:均方误差.反映估计值与被估计量之间差异程度的一种度量。
11.画出分类结果的混淆矩阵，并写出查准率P和查全率R
答:

12.什么是假设检验？
答:依据一定的概率原则，以较小的风险来判断估计数值与总体数值(或者估计分布与实际分布)是否存在显著差异，是否应当接受原假设选择的一种检验方法,进行检验的目的不是怀疑样本指标本身是否计算正确，而是为了分析样本指标和总体指标之间是否存在显著差异.
14.评价一个模型的好坏一般用什么来评价？
答:混淆矩阵、精准率、召回率、F1 Score、ROC曲线等.
15.完整的机器学习项目主要步骤有哪些？
答:首先得明确问题,然后就是数据的获取,特征预处理与特征选择,良好的数据要能够提取出良好的特征才能真正发挥数据的效力,再就是训练模型并调试参数,优化模型,进行模型诊断,诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断, 这是一个反复迭代不断逼近的过程，需要不断地尝试, 进而达到最优状态,最后进行上线测试.