牛客网机器学习笔记(2)

1. 引入L1和L2正则化:

http://blog.csdn.net/zouxy09/article/details/24971995

L1:做特征选择；L2：在一定程度上减少过拟合。

2. 类域界面方程法中，有

H-K算法：在最小均方误差准则下求得权矢量，二次准则解决非线性问题。

感知器算法：线性分类模型。

3. KNN在样本较少且典型性较好的情况下效果较好。

4. 解决隐马尔可夫中预测问题的算法是：维特比算法。

5. 可以实现对高维数据的降维：LASSO，主成分分析，线性判别分析，拉普拉斯映射，聚类分析法，小波变换法。

https://blog.csdn.net/yujianmin1990/article/details/48223001

6. 1）SVM对噪声鲁棒（不正确）：SVM对噪声本身具有一定的鲁棒性。实验表明，当噪声率低于一定水平时对SVM没有太大的影响；但是随着噪声率的不断增加，分类器的识别准确率会降低。

2）在AdaBoost中所有被分错的样本的权重更新比例相同（正确）：

AdaBoost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被凸显出来，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到弱分类器。以此类推，将所有的弱分类器重叠加起来，得到强分类器。

3）Boost和Bagging都是组合多个分类器投票的方法，二者均是根据单个分类器的正确率决定其权重（不正确）：

Bagging与Boosting的区别：取样方式不同。Bagging采用均匀取样，而Boosting根据错误率取样。Bagging的各个预测函数没有权重，而Boosting是有权重的，Bagging的各个预测函数可以并行生成，而Boosing的预测函数只能顺序生成。

• 采样方式：Adaboost是错误分类的样本的权重较大实际是每个样本都会使用；Bagging采用有放回的随机采样；
  
• 基分类器的权重系数：Adaboost中错误率较低的分类器权重较大；Bagging中采用投票法，所以每个基分类器的权重系数都是一样的。
• Bias-variance权衡：Adaboost更加关注bias，即总分类器的拟合能力更好；Bagging更加关注variance，即总分类器对数据扰动的承受能力更强。

4）给定n个数据点,如果其中一半用于训练,一般用于测试,则训练误差和测试误差之间的差别会随着n的增加而减少（正确）:

训练数据越多，拟合度越好，训练误差与测试误差的差距就越小。