机器学习知识点练习题

一，单选题
1.逻辑回归在训练的过程当中，如果有很多的特征高度相关或者说有一个特征重复了100遍，会有怎么样的影响？（）
A。会让分类器的准确率降低
B.会让分类器的准确率提高
C。不会影响分类器的准确率
D。结果不确定，与特征具体值有关

2.逻辑回归的损失函数是下列哪一种？（）
A。平方损失函数
B。对数损失函数
C。Hinge Loss 0-1 损失函数
D。绝对值损失函数

3.假设在庞大的数据集上使用Logistic回归模型。可能遇到一个问题，logistics回归需要很长时间才能训练。如何提高训练速度?()
A.降低学习率，减少迭代次数
B.降低学习率，增加迭代次数
C.提高学习率，增加迭代次数
D.增加学习率，减少迭代次数

4.一般K-NN最近邻算法在（）的情况下效果最好？
A。样本较多但典型性好
B。样本呈团状分布
C。样本较少但典型性好
D。样本呈链状分布

5.如下逻辑回归图显示了三种不同学习速率值的代价函数和迭代次数之间的关系（不同的颜色在不同的学习速率下显示不同的曲线）

为了参考而保存表后，忘记其中不同学习速率的值。现在需要曲线的倾斜值之间的关系。以下哪一个是正确的。（）
ps:蓝色的学习率是L1
红色的学习率是L2
绿色的学习率是L3
A。L1>L2>L3
B。L1=L2=L3
C。L1<L2<L3
D。都不是

二。多选题
1.逻辑回归的优点有哪些？（）
A。形式简单
B。模型效果不错
C。训练速度快
D。方便输出结果调整

2.当数据集中样本类别不均衡时，常采用哪些方法来解决？（）
A。降采样
B。升采样
C。人造数据
D。更换分类算法
E。以上都不是

3.下列关于sigmoid函数描述正确的是（）
A。取值范围为（0,1），他可以将一个实数映射到（0,1）的区间，看做概率值；
B。只能做二分类
C。阈值一般设置在0.5，大于该值的概率表示正例
D。只有该函数能将实数映射到（0,1）区间

4.下列关于牛顿法描述正确的是（）
A.牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，
B,二阶收敛，收敛速度快
C函数要求苛刻（二阶连续可微，汉森矩阵可逆）
D.牛顿法是局部收敛的，当初十点选择不当时，往往导致不收敛

5.L-BFGS的描述中，正确的是（）
A。适合大规模的数值计算
B。具备牛顿法收敛速度快的特点
C。不需要存储Hesse矩阵
D。空间消耗相对于BFGS小

三。判断题
1.逻辑回归是有监督学习。 （）
2.逻辑回归用来做回归的。（）
3.牛顿法是用来对函数求根的。（）
4.逻辑回归不能处理三分类问题。（）
5.OVR是一种多分类方法。（）

四。填空题
1.为了提高数值解的求解速度，在训练逻辑回归模型之前，对特征必须进行
2.升维的目的是为了
3.欧式距离计算公式是sqrt（（x1-x2）**2+(y1-y2)**2+(m1-m2)**2）

4.多元线性方程的二阶导数的方阵是
5.逻辑回归中用 方法来建立损失函数。

五。简答题
1.LR逻辑回归的优缺点？

2.ORV和multionmial两种分类的区别？

3.概率和似然的异同点？

答案：
一。1-5：CCDCC
解析：前三题都是在讲逻辑回归，我总结了一些基础小知识点，大家可以看一下。
%1.逻辑回归（Logistic Regression,也译作“对数几率回归”）是离散选择法模型之一，属于多重变量分析范畴。
%2.逻辑回归一般用于二分类，给定一些输出，输出结果是离散值。
%3.逻辑回归是一种用于解决监督学习问题的学习算法，进行逻辑回归的目的。是使训练数据的标签值与预测出来的值之间的误差最小化。
%4.逻辑回归不是回归，他只是主要强调逻辑的特性。
%5.逻辑回归的损失函数是对数损失函数。

4.解析：这个题说的是K-NN临近算法。K-NN算法也叫做K临近算法。是机器学习中唯一一个不需要训练过程的算法，可以别认为是没有模型的算法，也可以认为训练数据集就是模型本身；他的核心思想就是根据现有训练数据集，判断新的样本属于哪种类型。他一般在样本较少但典型性好的情况下效果最好。

5.解析：在逻辑分析中，学习率越大曲线的倾斜值就越小。

二。1.ABCD
2.ABCD
3.ABC
4.ABCD
5.ABCD

三。T F T F T

四。
1.标准化
2.更好的分类（提高准确率）
3.sqrt（（x1-x2）**2+(y1-y2)**2+(m1-m2)**2）
4.海森矩阵
5.最大似然估计

五。
1.LR的优点在于实现简单，并且计算量非常小，速度很快，存储资源低，缺点就是因为模型简单，对于复杂的情况下会出现欠拟合，并且只能处理2分类问题(可以通过一般的二元转换为多元或者用softmax回归)。

2.Ovr速度慢，但是可以完成多标签任务；
Multinomial速度快，但只能做单标签任务。

3.两者都是几率的意思。
不同点在于，概率是通过先验条件预测未来结果的几率；似然是根据已经发生的结果来推测某种模型参数；

我没有写太多的解析，因为我觉得这些都是些概念性的东西，实在是没啥写的。（(/ω＼)(/ω＼)）大家下去可以好好记记这些知识点。

（ps:题来自小编的周考题。）