一摩尔自由的博客

一、SVM算法简述支持向量机即Support Vector Machine，简称SVM。一听这个名字，就有眩晕的感觉。支持(Support)、向量(Vector)、机器(Machine)，这三个毫无关联的词，硬生生地凑在了一起。从修辞的角度，这个合成词最终落脚到”Machine”上，还以为是一种牛X的机器呢？实际上，它是一种算法，是效果最好的分类算法之一。 SVM是最大间隔分类器，它能很好地...

一、两种算法简介：Boosting 算法简介Boosting算法，我理解的就是两个思想：1）“三个臭皮匠顶个诸葛亮”，一堆弱分类器的组合就可以成为一个强分类器；2）“知错能改，善莫大焉”，不断地在错误中学习，迭代来降低犯错概率当然，要理解好Boosting的思想，首先还是从弱学习算法和强学习算法来引入：1）强学习算法：存在一个多项式时间的学习算法以识别一组概念，且识别的正确...

转自：https://www.cnblogs.com/pinard/p/6136914.html　在集成学习之Adaboost算法原理小结中，我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结，重点对调参的注意事项做一个总结。1. Adaboost类库概述　　　　scikit-learn中Adaboost...

决策树       决策树是机器学习中常用到的一种分类与回归方法，由节点和有向边组成，目的是通过每次分类将整个特征空间进行划分，这样就可以得到不同的分类样本。       决策树算法中涉及到了特征的选择，决策树的生成和剪枝。不同的决策树学习算法生成过程是相同的。决策树的剪枝就是为了防止过拟合。       例如ID3算法是在各个节点上选择信息增益最大的特征进行分裂并构建决策树，当然这样的问...

转自：http://lib.csdn.net/article/machinelearning/351351、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法...

一、准备：第三方库 sklearn二、代码：# -*- coding: utf-8 -*-# @Time : 2018/8/21 9:35# @Author : Barry# @File : mnist.py# @Software: PyCharm Community Editionfrom sklearn.ensemble import RandomFor...