![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习 算法
文章平均质量分 55
李灬华
这个作者很懒,什么都没留下…
展开
-
逻辑回归公式推导
原创 2022-04-08 21:46:59 · 118 阅读 · 0 评论 -
线性回归公式推导
线性回归 重新推导了一下线性回归的公式: 最小二乘参数估计,梯度下降: 正规方程: 因为实际情况中数据的维度都是多维所以使用正规方程多一些。 在使用正规方程过程中的梯度下降需要用到矩阵的求导,整理了三个比较常用的矩阵求导公式,应付上边的公式足够了。 ...原创 2022-04-08 21:08:26 · 211 阅读 · 0 评论 -
XGBoost :A Scalable Tree Boosting System
模型(加法模型) y^i(T)=∑j=1Tfj(xi)=∑j=1T−1fj(xi)+fj(T)(xi)\hat{y}_{i}^{(T)}=\sum_{j=1}^{T} f_{j}\left(x_{i}\right)=\sum_{j=1}^{T-1} f_{j}\left(x_{i}\right)+f_{j}^{(T)}\left(x_{i}\right)y^i(T)=∑j=1Tfj(xi)=∑j=1T−1fj(xi)+fj(T)(xi) T是基学习器(基于CART算法的回归树)的个数,x原创 2022-04-07 20:19:38 · 996 阅读 · 0 评论 -
提升树、梯度提升、梯度提升树(GBDT)
提升树 提升树是以分类树或回归树为基本分类器的提升方法。 模型 提升树也同提升算法一样采用加法模型(即基函数的线性组合)与前向分步算法,不过基学习器换为决策树。 所以提升树模型可以表示为决策树的加法模型: T()表示决策树,M为树的个数 ,Θ表示决策树的参数。 算法 采用前向分步算法,首先确定初始的提升树f0(x) = 0,第m步的模型是: 通过经验风险极小化确定下一棵决策树的参数: 策略 对于针对不同问题的提升树算法主要区别在于使用的损失函数不同。 1.对于二分类问题 只需将AdaBoost算法中原创 2022-04-06 15:38:36 · 1589 阅读 · 0 评论 -
决策树概述
决策树 决策树是一种基本的分类与回归方法。决策树模型呈树形结构,在分类问题中表示基于特征对实例进行分类的过程。可以认为是if-then规则的集合。 它的优点是模型具有可读性,分类速度快。缺点是容易过拟合。 决策树的学习通常包括3个步骤:特征选择、决策树的生成和决策树的修剪。 决策树的构造 目标:决策树的目标就是从数据集中归纳出一组分类规则,使数据集中的所有样本都能被划分到正确的类别。就是由数据集估计的一个条件概率模型。 损失函数:通常是正则化的极大似然函数 策略:是以损失函数为目标函数的最小化。 构造:首先原创 2022-04-05 21:59:46 · 2022 阅读 · 0 评论 -
AdaBoost
AdaBoost概述 AdaBoost训练过程 建模 f(x)=∑m=1MαmGm(x)=α1G1(x)+⋯+αmGm(x)+⋯+αMGm(x)\begin{aligned} f(x) &=\sum_{m=1}^{M} \alpha_{m} G_{m}(x) \\ &=\alpha_{1} G_{1}(x)+\cdots+\alpha_{m} G_{m}(x)+\cdots+\alpha_{M} G_{m}(x) \end{aligned}f(x)=m=1∑MαmGm(x)=α1原创 2022-03-23 21:47:10 · 98 阅读 · 0 评论 -
集成学习概述
原创 2022-03-23 20:31:32 · 49 阅读 · 0 评论