机器学习
文章平均质量分 92
独影月下酌酒
这个作者很懒,什么都没留下…
展开
-
LightGBM模型详解
1.背景 LightGBM 是微软开发的 boosting 集成模型,和 XGBoost 一样是对 GBDT 的优化和高效实现,原理有一些相似之处,但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下:更快的训练效率低内存使用更高的准确率支持并行化学习可处理大规模数据支持直接使用 category 特征 下图是一组实验数据,LightGBM比XGBoost快将近 101010 倍,内存占用率大约为XGBoost的 1/61/61/6,并且准确率也有提原创 2023-04-24 16:48:36 · 3213 阅读 · 2 评论 -
XGBoost模型详解
1.什么是XGBoost? GBDT,它是一种基于boosting增强策略的加法模型,训练的时候采用前向分布算法进行贪婪的学习,每次迭代都学习一棵CART树来拟合之前 t−1t-1t−1 棵树的预测结果与训练样本真实值的残差。XGBoost对GBDT进行了一系列优化,比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等,在可扩展性和训练速度上有了巨大的提升,但其核心思想没有大的变化。2.XGBoost的核心原理2.1 如何构造目标函数? 对于一个给定有 nnn 个样本和原创 2023-04-24 16:35:26 · 16490 阅读 · 3 评论 -
GBDT算法原理及实战
GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,是一种迭代的决策树算法,又叫 MART(Multiple Additive Regression Tree),它通过构造一组弱的学习器(树),并把多棵决策树的结果累加起来作为最终的预测输出。该算法将决策树与集成思想进行了有效的结合。原创 2023-04-19 19:48:17 · 10639 阅读 · 0 评论 -
向量的内积外积哈达玛积
从代数角度看,先对两个数字序列中的每组对应元素求积,再对所有积求和,结果即为点积。从几何角度看,点积则是两个向量的长度与它们夹角余弦的积。ATBA^TBATBAB<A,B>AB两个向量的外积,又叫叉乘、叉积向量积,其运算结果是一个向量而不是一个标量。并且两个向量的外积与这两个向量组成的坐标平面垂直。向量a与b的外积a×b是一个向量,其长度等于|a×b| = |a||b|sin∠(ab),其方向正交于a与b。并且,(aba×b)构成右手系。对于向量a和向量ba⃗x1y1。原创 2023-04-11 10:04:13 · 2241 阅读 · 0 评论 -
指数分布族和广义线性模型
指数族分布 (The exponential family distribution),区别于指数分布(exponential distribution)。指数分布族不是专指一种分布,而是一系列符合特征的分布的统称。在概率统计中,若某概率分布满足下式,我们就称之属于指数族分布。py;py;θbyexpηθTy−Aθ其中,η\etaη是分布的自然参数(nature parameter);TyT(y)原创 2023-04-09 21:45:29 · 719 阅读 · 0 评论 -
微分学与梯度下降法
微分学的核心思想:用熟悉且简单的函数对复杂函数进行局部逼近。梯度方向是函数增长最快的方向fx0Δxfx0f1x0⋅Δx12f2x⋅Δx2oΔx2fx0Δxfx0f1x0⋅Δx21f2x⋅Δx2oΔx2梯度下降法:对函数进行一阶逼近寻找函数下降最快的方向。解决梯度计算问题:批量梯度下降法、随机梯度下降法、小批量随机梯度下降法。原创 2023-04-09 20:50:50 · 562 阅读 · 0 评论 -
一文彻底搞懂逻辑回归模型
1)逻辑回归即为数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降法求解参数,来达到二分类的目的。2)逻辑回归是一个分类模型,解决分类问题(类别+概率),可以做ranking model。原创 2023-04-09 20:36:12 · 5676 阅读 · 0 评论 -
基于逻辑回归的分类预测
基于逻辑回归的分类预测1.逻辑回归简介 逻辑回归(Logistic regression,简称LR)虽然其中带有"回归"两个字,但逻辑回归其实是一个分类模型,并且广泛应用于各个领域之中。 将线性模型得到的结果通过一个非线性模型sigmoid函数,得到[0,1]之间取值范围的值,我们设置阈值为0.5,通过与阈值的比较达到二分类的效果,即为逻辑回归模型。2.Sigmoid函数简介2.1 逻辑斯特函数的由来(1) 假设一事件发生的概率为P,则不发生的概率为1- P,我们把发生概率/不发生概率称原创 2020-08-19 19:15:21 · 1652 阅读 · 0 评论 -
基于决策树的分类预测
1.决策树的介绍 决策树(decision tree)是一种基本的分类与回归的方法,作为最基础、最常见的有监督学习模型,常被用于解决分类回归问题。本文主要讨论用于分类的决策树。决策树的核心思想是基于树结构对数据进行划分,这种思想是人类处理问题时的本能方法。比如:你母亲要给你介绍男朋友,是这么来对话的:女儿:多大年纪了?母亲:26。女儿:长的帅不帅?母亲:挺帅的。女儿:收入高不?母亲:不算很高,中等情况。女儿:是公务员不?母亲:是,在税务局上班呢。女儿:那好,我去见见。于是你在脑袋里原创 2020-08-24 19:38:05 · 11558 阅读 · 1 评论 -
基于支持向量机的分类预测
1.认识SVM 支持向量机(Support Vector Machine, SVM)是一种对数据进行二分类的广义线性分类器,其分类边界是对学习样本求解的最大间隔超平面。 SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险,是一个具有稀疏性和稳健性的分类器 。 SVM可以通过引入核函数进行非线性分类。2.SVM基本介绍情景引入:给定一些分属于两个类别的数据,如使使用一个线性分类器,将这些数据分开来?#导包import numpy as npimport matp原创 2020-08-26 19:44:30 · 4111 阅读 · 1 评论