机器学习
qq_41134008
我是一个菜鸟..............
展开
-
4-1 机器学习 --- 支持向量机
一、什么是SVM:SVM支持向量机,主要针对小样本数据,非线性及高维模式识别中表现出许多特有的优势,而且有很好的泛华能力。二、SVM原理:低维空间映射到高维空间超平面和最近的数据点之间的间隔被称为分离边缘,用P表示。支持向量机的目标是找到一个特殊的超平面,对于这个超平面分离边缘P最大。三、SVM线性核函数:线性核函数解决线性问题import numpy as npimport mat...原创 2019-12-18 10:55:49 · 201 阅读 · 0 评论 -
3-1 机器学习 -- 线性回归 -- 更新
一、线性回归原理最小二乘法:import numpy as np# 线性回归算法from sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn import datasetsboston = datasets.loa...原创 2019-12-14 14:31:38 · 218 阅读 · 0 评论 -
2-5 机器学习 -- adaboost算法
bagging套袋算法:只能降低模型的方差。boosting提升算法:(AdaBoost 、GBDT),主要用于难以区分的样本。一、adaboost提升树原理:增大错误分类的权重...原创 2019-12-13 16:50:32 · 112 阅读 · 0 评论 -
2-4 机器学习-- 梯度提升树
一、梯度提升树原理梯度爆炸:梯度:也就是导数梯度提升树建立在普通决策基础上的,也由多颗树构建。梯度提升树用于分类,也是森林,还是集成算法,用到的是,回归树。基本树(决策树,分类树)import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.ensemble import Grad...原创 2019-12-13 16:18:55 · 195 阅读 · 0 评论 -
2-3 机器学习 -- 极限森林
一、极限森林在随机森林的基础上进行升级。不寻找最有区别的阈值,而是为每个候选特征随机绘制阈值,并且这些随机生成的阈值中的最佳阈值作为划分规则。极限森林 :1、样本抽样随机 2、每棵树分裂条件随机(不是最好的裂分条件)决策树,进行分裂的时候,根据信息增益最大进行裂分,刻板交叉验证:数据简单,普通算法和复杂算法效果一样。数据预处理非常重要。如何提升准确率:数据的质量,数据的预处理,算法的提...原创 2019-12-13 11:26:32 · 479 阅读 · 0 评论 -
2-2 机器学习 -- 随机森林
一、随机森林:随机森林:多颗决策树构建而成,每一颗树都是决策树。在分类器构造中引入随机性来创建多样化的分类器集。多颗决策树一起运算 ---------- 》 集成算法随机森林,极限森林。随机性体现:抽样的随机性,每一颗树划分标准的随机性。随机性的目的:减少森林估计量的方差过拟合:欠拟合:单个决策树通常表现出较高的方差并且倾向于过渡拟合,随机森林中注入的随机性产生决策树,其预测误差有些...原创 2019-12-13 10:51:12 · 266 阅读 · 0 评论 -
2-1 机器学习型--决策树算法
一、决策树(不需要对数据进行去量纲化,归一化,标准化)公司中不用决策树:使用决策树的升级版:集成算法(随机森林,梯度提升树,极限森林,adaboost提升树)作用:分类,回归。划分节点的标准:熵 或 Gini系数1、决策树:信息论(逻辑斯底回归:最大似然,概率,贝叶斯:概率论)2、熵:3、信息增益:4、计算熵:5、Gini:ID3算法:分类C4.5算法:分类CART算法:分...原创 2019-12-13 10:10:45 · 409 阅读 · 0 评论