- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 集成算法学习（1）-Bagging、Boosting(AdaBoost)原理与公式推导
1、决策树与集成学习的关系根据python3 决策树（ID3、C4.5、CART）原理详细说明与公式推导可知：决策树容易解释，可以处理离散和连续值，对输入变量的单调转换不敏感（因为分割点是基于数据点的排序），执行自动变量选择，对异常值相对稳定，可以很好地扩展到大型数据集，并且可以修正输入的缺失值。但是决策树与其他类型的模型相比，预测不是很准确。这部分是由于树构造算法的贪心本性。一个相关...
2019-12-30 09:53:28
3629
原创 python3 Boosting(AdaBoost)算法实现
算法原理：Bagging、Boosting(AdaBoost)原理与公式推导算法步骤： import numpy as npimport seaborn as snssns.set_style('white')from sklearn.tree import Dec...
2019-12-30 09:51:47
1030
原创 集成算法学习（2）-Boosting(GBDT回归)（举例说明，通俗易懂）
通过上帖Bagging、Boosting(AdaBoost)原理与公式推导了解了方差和偏差以及AdaBoost，下面详细讲解GBDT回归的原理以及实现。GBDT的初始化是一个叶节点，而不是生成一个树(随机森林）或树桩（AdaBoost）。这个叶节点代表所有样本的初始预测值。GBDT与AdaBoost的对比：两者都是利用前面模型的误差调节当前模型 两者都要构建固定大小的树（深度和叶节点...
2019-12-30 09:41:47
1685
原创 python3 决策树（ID3、C4.5、CART）原理详细说明与公式推导
1、简介1.1 树的定义决策树(decision tree)是一种描述对实例进行分类的树形结构，由结点 (node)和有向边 (directed edge)组成。结点有三种类型：根结点(root node)：表示树根 内结点 (internal node)：表示特征 叶结点(leaf node)：表示类 边 (directed edge)：表示划分的条件决策树的是...
2019-12-19 15:38:01
2410
原创 决策树 CART 自编代码 (Python3)
根据决策树CART的原理用Python3写出，代码如下：from random import randrange# 根据阈值对单个属性数据（数值）进行分割def split_numerical(attribute_index, thresh, datasets): left, right = [], [] for r in datasets: if r[...
2019-12-19 15:37:32
788
原创 核函数(Kernel function)(举例说明，通俗易懂)
已知有一组向量，可用线性函数去探索其是否具有线性关系，若数据之间是非线性呢？非线性数据是指只有利用非线性模型才能更好的预测。但非线性问题往往不好求解，所以希望用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。原理是将数据映射到高维数据，在高维空间线性可分。如下图，从低维转换到高维，是转换函数。...
2019-12-12 15:00:57
128792
20
原创 python3 支持向量机 (详细说明与推导)
建议先看一下这两篇文章：核函数(Kernel function)(举例说明，通俗易懂)拉格朗日乘子、拉格朗日对偶问题 (举例说明，通俗易懂)1、支持向量机简介支持向量机（support vector machine）是一种用于分类、回归和异常值（离群点）检测的监督学习方法。支持向量机是一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大有别于感知机；支...
2019-12-11 16:23:44
2033
原创 拉格朗日乘子、拉格朗日对偶问题 (举例说明，通俗易懂)
本文通过一系列的例子来说明拉格朗日乘子的运算以及原理，通俗易懂。1、拉格朗日乘数(乘子)原理定义：In mathematical optimization, the method of Lagrange multipliers is a strategy for finding the local maxima and minima of a function subject to ...
2019-12-10 13:50:58
16344
2
原创 python3 Fisher线性判别分析(LDA)(含详细推导和代码）
1、线性判别原理线性判别分析是常用的降维技术,在模式分类和机器学习的预处理步骤中。其目标是将数据集投影到具有良好的类可分性的低维空间中，以避免过度拟合（维数过多）并降低计算成本，如将一个特征空间(一个数据集n维样本)投射到一个更小的子空间k(其中k ≤n-1)上，同时维护类区分信息。判别式是一个函数，它接受一个输入向量x，并把它赋值给K个类中的一个，记作。在这一章中，我们将把注意力限制在线...
2019-12-03 15:48:29
11013
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人