1、在梯度下降过程中,学习率控制着算法每一轮迭代中的更新步长,如果学习率设置的太大容易振荡,设置太小则 收敛速度太慢 。
2、均方误差有非常好的几何意义,它对应了常用的欧氏距离。基于均方误差最小化来进行模型求解的方法称为_最小二乘法。
3、如果使用数据集的全部特征,学习模型在训练集上达到100%的准确率,但在测试集上仅能达到70%左右,这说明存在 过拟合 问题。
4、训练对数几率回归分类模型,如果在模型中引入正则项,正则化参数会对模型的性能有很大的影响,如果设置的过大则不能缓解过拟合问题,如果设置的过小容易导致过拟合问题。
5、在预测任务中,给定样本集D={x1,y1,x2,y2,…,xm,ym},其中yi是样本xi的真实标记。要评估学习器f的性能,就要把学习器预测结果f(x)与真实标记y进行比较。回归任务最常用的性能度量是均方误差,对应的公式为
6、基于一些基本策略,可以利用二分类学习器解决多分类问题。多分类学习的基本思路是“拆解法”,将多分类任务拆为若干个二分类任务求解。最经典的拆分策略有一对一、一对多和多对多。如果给定数据集D中包含M个样本,对应有N个类别,请分析一对一和一对多策略的特点。
一对一策略:
给定数据集D,其中有N个分类,那么一对一的策略将这N个类别两两配对,从而产生N(N-1)/2个二分类任务。例如OvO将为区分类别Ci和Cj训练一个分类器,该分类器把D中的Ci类样例作为正例,Cj类样例作为反例。在测试阶段,新样本将同时提交给所有分类器,于是我们会得到N(N-1)/2个结果,最终结果可通过投票产生,即把被预测的最多的类别作为最终的分类结果。
一对多策略:
每次见一个类的样例作为正例,所有其他类的样例作为反例来训练N个分类器,在测试时若仅有一个分类器预测为正类,则对应的类别标记便是最终的分类结果,如果有多个分类器预测为正类,则同常考虑个分类器的预测置信度,选择置信度最大的类别标记作为分类结果。
7、给出线性模型的基本形式。(向量形式)