2019年01月_changdejie

06月 05月 01月

原创集成学习思想总结-bagging,boosting,stacking

基本理论Bagging（套袋法）bagging的算法过程如下：从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等）对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后...

2019-01-30 18:29:57 589

原创美团机器学习实践-特征选择总结

最近在看美团机器学习实践，看到特征工程，特征选择方法一部分觉得写的很好，总结一下。特征选择主要目的就是，选择合适的特征，这样对于节省计算，模型最后的效果都有很大的好处，主要有下面三种类型。1 过滤方法，就是直接统计特征和最后结果直接的相关性，留下相关性比较大的，这种方法和模型没有关系。2 封装方法，结合模型来评估是否要留下某项特征。这样可能需要一项，一项的试，所以计算量很大。...

2019-01-29 16:26:01 658

原创准确率，错误率精准率召回率，ROC，AUC 的区别和联系

网上对于每个定义分别讲述的很深，但是很少又把他们联系起来的。首先，所有的定义均来自下面的图，一定要理解好。 1 精准率和召回率，通常用在搜索的评价场合。精准率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有搜索出来的(TP+FP) 召回率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有应该被搜索到(TP+FN)而 TN 表示不应该被搜索到实际...

2019-01-28 16:26:31 6961