- 博客(6)
- 收藏
- 关注
RSS订阅转载 决策树梳理
信息论基础信息这个是熵和信息增益的基础概念，是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物，或者用其他名称来命名这种抽象事物，这种抽象事物是客观存在的。如果带分类的事物集合可以划分为多个类别当中，则某个类（xi）的信息（量）定义如下：I(x)用来表示随机变量的信息，p(xi)指是当xi发生时的概率。当事件xi发生的概率p(xi)很小，但是它却发生了，那这个信息量相当大，比如买...
2019-03-05 20:33:16
720
转载 逻辑回归梳理
逻辑回归和线性回归的区别1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系4）logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系可以认...
2019-03-03 20:13:53
486
转载 线性回归梳理
监督学习（supervised learning）从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。监督学习就是最常见的分类（注意和聚类区分）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最...
2019-03-01 20:29:11
256
转载 XGB算法梳理
1、你需要提前掌握的几个知识点1、监督学习监督学习就是训练数据有标签的学习。比如说，我有10万条数据，每个数据有100个特征，还有一个标签。标签的内容取决于学习的问题，如果数据是病人进行癌症诊断做的各项检查的结果，标签就是病人是否得癌症。是为1，不是为0.监督学习就是要从这10万条数据中学习到根据检查结果诊断病人是否得癌症的知识。由于学习的范围限定在这10万条数据中，也就是说，学习的知识必须...
2019-02-01 21:29:32
987
转载 GBDT算法梳理
一，引言在集成学习原理介绍中，简单的介绍了根据个体学习器学习方式不同划分的两大类集成学习方法，个体学习器间存在强依赖关系、必须串行生成的序列化方法，如Boosting；个体学习器间不存在强依赖关系、可同时生成的并行化方法，如Bagging。 回顾一下Boosting算法的学习机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的的训练样本在...
2019-01-29 18:57:14
142
转载 随机森林算法梳理
随机森林算法梳理个体学习器概念集成学习概念BoostingBagging随机森林结合策略优点缺点sklearn 参数个体学习器概念通常由一个现有的学习算法从训练数据中产生，例如C4.5决策算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中全是神经网络，这样的集成是“同质”的。同质集成中的个体学习器亦称为“基学习器”。相应的学习算...
2019-01-27 21:42:00
320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人