牛客网机器学习笔记(2)

1. 引入L1和L2正则化:

http://blog.csdn.net/zouxy09/article/details/24971995

L1:做特征选择;L2:在一定程度上减少过拟合。

2. 类域界面方程法中,有

H-K算法:在最小均方误差准则下求得权矢量,二次准则解决非线性问题。

感知器算法:线性分类模型。

3. KNN在样本较少且典型性较好的情况下效果较好。

4. 解决隐马尔可夫中预测问题的算法是:维特比算法。

5. 可以实现对高维数据的降维:LASSO,主成分分析,线性判别分析,拉普拉斯映射,聚类分析法,小波变换法。

https://blog.csdn.net/yujianmin1990/article/details/48223001

6. 1)SVM对噪声鲁棒(不正确):SVM对噪声本身具有一定的鲁棒性。实验表明,当噪声率低于一定水平时对SVM没有太大的影响;但是随着噪声率的不断增加,分类器的识别准确率会降低。

2)在AdaBoost中所有被分错的样本的权重更新比例相同(正确):

AdaBoost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时,每个样本对应的权重是相同的,即其中n为样本个数,在此样本分布下训练出一弱分类器。对于分类错误的样本,加大其对应的权重;而对于分类正确的样本,降低其权重,这样分错的样本就被凸显出来,从而得到一个新的样本分布。在新的样本分布下,再次对样本进行训练,得到弱分类器。以此类推,将所有的弱分类器重叠加起来,得到强分类器。
3)Boost和Bagging都是组合多个分类器投票的方法,二者均是根据单个分类器的正确率决定其权重(不正确):
Bagging与Boosting的区别:取样方式不同。Bagging采用均匀取样,而Boosting根据错误率取样。Bagging的各个预测函数没有权重,而Boosting是有权重的,Bagging的各个预测函数可以并行生成,而Boosing的预测函数只能顺序生成。
  • 采样方式:Adaboost是错误分类的样本的权重较大实际是每个样本都会使用;Bagging采用有放回的随机采样;
  • 基分类器的权重系数:Adaboost中错误率较低的分类器权重较大;Bagging中采用投票法,所以每个基分类器的权重系数都是一样的。
  • Bias-variance权衡:Adaboost更加关注bias,即总分类器的拟合能力更好;Bagging更加关注variance,即总分类器对数据扰动的承受能力更强。

4)给定n个数据点,如果其中一半用于训练,一般用于测试,则训练误差和测试误差之间的差别会随着n的增加而减少(正确):

训练数据越多,拟合度越好,训练误差与测试误差的差距就越小。



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值