【机器学习BDT】python代码实现(下)

最新推荐文章于 2024-06-25 09:28:09 发布
最新推荐文章于 2024-06-25 09:28:09 发布
阅读量157 收藏 4
点赞数 1
分类专栏： Python 机器学习 文章标签： 机器学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mcoc132/article/details/139376027
版权

文章目录

BDT(Bootstrap Decision Tree)python实现

代码仅供参考

导入库

import CART树_自己写 
import numpy

其中一个库之前写的

分类树主体代码

在原始数据权重基础上使用更新的数据权重以更新BDT模型.

    def 分类树(self,BDT_M,setA,标签,D,权重,验标签,验D,验权重,
              树的最大深度=5,最小样本数=10,最小不纯度=0.1,损失函数='平方',输出='平均'
              ):
        '''
        BDT回归树
            由CART回归数合并得到
            Loss为指数
        CART回归树(连续变量)
        这个是确定了给定Loss下分类模型,确定了输入空间分开的M个区间,
          如果输入落入第m个区域,那么输出是其实应该是输出的相应y值的平均
                                        还可以是输出y值的众数(分类问题)
        #此函数对Loss最小方式为暴力搜索,后续可能添加剃度下降版本
        输入
        BDT_M:M个CART树
        setA:划分的步长,按分bin来
            (binN,xmin,xmax) (区间划分点数N-1)
            [(50,0,1,0.01),(2,-0.1,1.1),...]
        最小样本数:划分阶段实现
        最小不纯度:###还在施工###
        损失函数:str|'function''平方':平方差,'Gini',Gini函数
                其他可定义,格式为 float=fun(标签,select:numpy.ndarray=None)
                当有select表示划分后Loss
        输出:str|'function''平均':标签平均,'众数':最大标签数(离散输出)
            其他可定义,格式为 number=fun(标签)

        输出
        Tree: ([左子,右子],besti,bestj,xj,output)
            output:[[-1,sumevent],[标签i,counti],...]
        '''
        FM=[]
        aM=[]
        set标签=numpy.array(list(set(标签)))
        WM=numpy.ones(len(D))/len(D)
        for mi in range(BDT_M):
            fmi=CART树_自己写.CART模型(标签,D)
            T,acu,output0_var=fmi.训练(setA,标签,D,WM*权重,验标签,验D,验权重,#此处验证集就是原本
                      树的最大深度=树的最大深度,最小样本数=最小样本数,最小不纯度=最小不纯度,损失函数=损失函数,输出=输出)
            FM.append(fmi)

            # fmibefore=self.函数输出(FM,aM,D)
            output0=fmi.叶子输出_批量(T,D)#输出必须是训练集
            outputlabel=output0.copy().astype(标签[0])
            for i,oi in enumerate(output0):
                oilabelindex=numpy.argmin(abs(oi-set标签))
                outputlabel[i]=set标签[oilabelindex]
            acu=float(sum((outputlabel==标签)*权重))/sum(权重)#真实正确率
            if acu>0.9999:acu=0.9999
            if acu<0.0001:acu=0.0001
            em=1-acu
            ami=0.5*numpy.log(acu/em)
            aM.append(ami)
            WMnew=WM*numpy.exp(-ami*标签*output0);WMnew=WMnew/sum(WMnew)
            WM[:]=WMnew[:]
        return FM,aM

回归树主体代码

新的基学习器拟合残差。

    def 回归树(self,BDT_M,setA,标签,D,权重,验标签,验D,验权重,
              树的最大深度=5,最小样本数=10,最小不纯度=0.1,损失函数='平方',输出='平均'
              ):
        '''
        BDT回归树
            由CART回归数合并得到
            Loss为残差平方#此方法下损失函数只能为连续的,不能为Gini!!
        CART回归树(连续变量)
        这个是确定了给定Loss下分类模型,确定了输入空间分开的M个区间,
          如果输入落入第m个区域,那么输出是其实应该是输出的相应y值的平均
                                        还可以是输出y值的众数(分类问题)
        #此函数对Loss最小方式为暴力搜索,后续可能添加剃度下降版本
        输入
        BDT_M:M个CART树
        setA:划分的步长,按分bin来
            (binN,xmin,xmax) (区间划分点数N-1)
            [(50,0,1,0.01),(2,-0.1,1.1),...]
        最小样本数:划分阶段实现
        最小不纯度:###还在施工###
        损失函数:str|'function':'平方':平方差,'Gini',Gini函数
                其他可定义,格式为 float=fun(标签,select:numpy.ndarray=None)
                当有select表示划分后Loss
        输出:str|'function':'平均':标签平均,'众数':最大标签数(离散输出)
            其他可定义,格式为 number=fun(标签)

        输出
        Tree: ([左子,右子],besti,bestj,xj,output)
            output:[[-1,sumevent],[标签i,counti],...]
        '''
        FM=[]
        aM=[]
        WM=numpy.ones(len(D))
        for mi in range(BDT_M):
            fmi=CART树_自己写.CART模型(标签,D)
            fmibefore=self.函数输出(FM,aM,D)
            T,acu,output0=fmi.训练(setA,标签-fmibefore,D,权重,验标签,验D,验权重,#此处验证集就是原本
                      树的最大深度=树的最大深度,最小样本数=最小样本数,最小不纯度=最小不纯度,损失函数=损失函数,输出=输出)
            FM.append(fmi)
            aM.append(1.0)
        return FM,aM

输出函数

对于分类树的输出可以提前算好输出的整体权重

    def 函数输出(self,FM:list[CART树_自己写.CART模型],aM,D):
        aM=numpy.array(aM);#aM=aM/sum(abs(aM))
        F=numpy.zeros(len(D))
        for i,x in enumerate(FM):
            F+=aM[i]*FM[i].叶子输出_批量(FM[i].Tree,D)
        return F

完整代码

import CART树_自己写 
import numpy

class BDT():
    '''
    简单BDT

    '''
    def __init__(self, 标签, Data):
        assert len(标签)==len(Data),'标签应该和数据个数一致!'
        self.数据个数=len(标签)
        self.维数=len(Data[0])
        self.标签=numpy.array(标签)
        self.Data=numpy.array(Data)

    def 分类树(self,BDT_M,setA,标签,D,权重,验标签,验D,验权重,
              树的最大深度=5,最小样本数=10,最小不纯度=0.1,损失函数='平方',输出='平均'
              ):
        '''
        BDT回归树
            由CART回归数合并得到
            Loss为指数
        CART回归树(连续变量)
        这个是确定了给定Loss下分类模型,确定了输入空间分开的M个区间,
          如果输入落入第m个区域,那么输出是其实应该是输出的相应y值的平均
                                        还可以是输出y值的众数(分类问题)
        #此函数对Loss最小方式为暴力搜索,后续可能添加剃度下降版本
        输入
        BDT_M:M个CART树
        setA:划分的步长,按分bin来
            (binN,xmin,xmax) (区间划分点数N-1)
            [(50,0,1,0.01),(2,-0.1,1.1),...]
        最小样本数:划分阶段实现
        最小不纯度:###还在施工###
        损失函数:str|'function''平方':平方差,'Gini',Gini函数
                其他可定义,格式为 float=fun(标签,select:numpy.ndarray=None)
                当有select表示划分后Loss
        输出:str|'function''平均':标签平均,'众数':最大标签数(离散输出)
            其他可定义,格式为 number=fun(标签)

        输出
        Tree: ([左子,右子],besti,bestj,xj,output)
            output:[[-1,sumevent],[标签i,counti],...]
        '''
        FM=[]
        aM=[]
        set标签=numpy.array(list(set(标签)))
        WM=numpy.ones(len(D))/len(D)
        for mi in range(BDT_M):
            fmi=CART树_自己写.CART模型(标签,D)
            T,acu,output0_var=fmi.训练(setA,标签,D,WM*权重,验标签,验D,验权重,#此处验证集就是原本
                      树的最大深度=树的最大深度,最小样本数=最小样本数,最小不纯度=最小不纯度,损失函数=损失函数,输出=输出)
            FM.append(fmi)

            # fmibefore=self.函数输出(FM,aM,D)
            output0=fmi.叶子输出_批量(T,D)#输出必须是训练集
            outputlabel=output0.copy().astype(标签[0])
            for i,oi in enumerate(output0):
                oilabelindex=numpy.argmin(abs(oi-set标签))
                outputlabel[i]=set标签[oilabelindex]
            acu=float(sum((outputlabel==标签)*权重))/sum(权重)#真实正确率
            if acu>0.9999:acu=0.9999
            if acu<0.0001:acu=0.0001
            em=1-acu
            ami=0.5*numpy.log(acu/em)
            aM.append(ami)
            WMnew=WM*numpy.exp(-ami*标签*output0);WMnew=WMnew/sum(WMnew)
            WM[:]=WMnew[:]
        return FM,aM
    
    def 回归树(self,BDT_M,setA,标签,D,权重,验标签,验D,验权重,
              树的最大深度=5,最小样本数=10,最小不纯度=0.1,损失函数='平方',输出='平均'
              ):
        '''
        BDT回归树
            由CART回归数合并得到
            Loss为残差平方#此方法下损失函数只能为连续的,不能为Gini!!
        CART回归树(连续变量)
        这个是确定了给定Loss下分类模型,确定了输入空间分开的M个区间,
          如果输入落入第m个区域,那么输出是其实应该是输出的相应y值的平均
                                        还可以是输出y值的众数(分类问题)
        #此函数对Loss最小方式为暴力搜索,后续可能添加剃度下降版本
        输入
        BDT_M:M个CART树
        setA:划分的步长,按分bin来
            (binN,xmin,xmax) (区间划分点数N-1)
            [(50,0,1,0.01),(2,-0.1,1.1),...]
        最小样本数:划分阶段实现
        最小不纯度:###还在施工###
        损失函数:str|'function':'平方':平方差,'Gini',Gini函数
                其他可定义,格式为 float=fun(标签,select:numpy.ndarray=None)
                当有select表示划分后Loss
        输出:str|'function':'平均':标签平均,'众数':最大标签数(离散输出)
            其他可定义,格式为 number=fun(标签)

        输出
        Tree: ([左子,右子],besti,bestj,xj,output)
            output:[[-1,sumevent],[标签i,counti],...]
        '''
        FM=[]
        aM=[]
        WM=numpy.ones(len(D))
        for mi in range(BDT_M):
            fmi=CART树_自己写.CART模型(标签,D)
            fmibefore=self.函数输出(FM,aM,D)
            T,acu,output0=fmi.训练(setA,标签-fmibefore,D,权重,验标签,验D,验权重,#此处验证集就是原本
                      树的最大深度=树的最大深度,最小样本数=最小样本数,最小不纯度=最小不纯度,损失函数=损失函数,输出=输出)
            FM.append(fmi)
            aM.append(1.0)
        return FM,aM
    
    def 函数输出(self,FM:list[CART树_自己写.CART模型],aM,D):
        aM=numpy.array(aM);#aM=aM/sum(abs(aM))
        F=numpy.zeros(len(D))
        for i,x in enumerate(FM):
            F+=aM[i]*FM[i].叶子输出_批量(FM[i].Tree,D)
        return F
    
    def 准确矩阵(self,output,标签):
        '''
        Mij,i是输出
        '''
        set标签=set(标签)
        M=numpy.zeros((len(set标签),len(set标签)),dtype=int)
        for i,labeli in enumerate(list(set标签)):
            for j,labelj in enumerate(list(set标签)):
                M[i,j]=numpy.all([output==labeli,标签==labelj],axis=0)
        return M

后续可能添加的功能

  1. 需要用K-S检验来确定验证和训练输出是否一致.
  2. K-fold交叉验证.
  3. 剃度下降法(CART).
  4. 修正使得定义类的时候就定义好超参数,类内保存训练结果.
mcoc132
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
dbt-spotify-analytics:使用Python，dbt，Postgres和Metabase的容器化Spotify数据的端到端分析
05-22
Spotify用户分析 介绍 在此项目中，我们将分析我们的收听历史，热门曲目和艺术家以及Spotify的流派。 以下是我们将使用的工具： Python-从Spotify API端点刮取数据并将文件保存到CSV Postgres-我们的数据库，数据将存储到该数据库中并从中查询 dbt（数据构建工具）-数据建模工具，用于将暂存中的数据转换为事实，维表和视图 元数据库-分析数据的仪表板工具 Docker-容器化我们的应用程序，即Postgres，dbt和Metabase 项目文件 应用程序 main.py-我们的主要ETL脚本，可从Spotify API端点获取数据并将其保存到CSV util.py-包含自定义类SpotifyUtil的实用程序帮助文件 config_template.py-这是我们存储凭据的地方 dbt models-包含我们运行转换时将使用的sql脚本和schema.
BDT模型的MATLAB代码
09-25
利率衍生产品定价中应用BDT模型的MATLAB代码
【机器学习BDT】python代码实现(上)
mcoc132的博客
06-01 637
在高能物理中,BDT用于对事例的分类，将信号和本底分开。对于简单例子，比如有一个信号，和一种本底，目前把BDT想象成一个函数，它的输入是事例的一些特征(例如:质心能量s)[(N,)形状变量]，输出是一个实数[(1,)形状变量],对于给定输入,输出是确定的。其实这个问题就转化成构建一个映射Y:X->R,使得预测结果最优神经网络也是相同的问题，BDT只是不同的范式,但是它的模型适合于分类问题。
dbt入门解析
最新发布
qq_16445077的博客
06-25 903
最近一直在处理数据分析和数据建模的事情，所以接触了 dbt 等数据分析的工具，国内目前对于 dbt 比较详细的资料不多，所以打算写四道五篇 dbt 相关的文章，本文属于 dbt 系列的第一篇，本篇主要阐述 dbt 一些基本概念，教会你如何配置 dbt 连接远端数据库，并运行你的第一个数据模型，那么本文开始。其次，由于 Google 数据库不支持本地连接，所以我们需要把 clone 的项目整个上传服务器，通过远端来联调数据库，前端同学如果不清楚，可以问下服务端同学日常开发怎么做的就好了。
Windows下Python3通过DbtPy连接到GBase 8s数据库
liaosnet的专栏
04-02 523
示例使用的操作系统：Win 7 64bit 软件需求：Python 3.7.9 1，安装CSDK，设置环境变量 可从以下地址下载： https://gbasedbt.com/odbc/GBase8s_3.0-ODBC-Driver.zip 免安装CSDK版本。 解压，生成的gbase8s-odbc-driver放置于D:\目录下。 在我的电脑->系统属性->高级->环境变量 中，增加环境变量GBASEDBTDIR 指向D:\gbase8s-odbc-driver，Path中增加%GBA
从零开始的 dbt 入门教程 （dbt-core 基础篇）
sdgfafg_25的博客
12-01 1876
DBT（Data Build Tools）是一种数据转换工作流工具，作为数据分析师，我们需要将原始的数据进行各类加工组合来应对更为复杂的数据分析需求。准确来说，dbt 还是来写 sql 做各种数据查询，你可能会想，那我自己写 sql 不就完事了，还用啥 dbt。事实上，由于数据库种类繁多，sql 会存在兼容问题；其次，数据转换会存在数据依赖，比如底层原始数据层层转变为业务数据，你可能需要自己来维护这个依赖关系，其实仔细一想，你就会发现自己做会非常麻烦。
lhcb_trigger_ml:基于机器学习研究的LHCb触发器
05-19
hep_ml是一个专门针对高能物理数据分析的Python库，它提供了一系列机器学习工具，用于处理高能物理实验中的复杂问题。这个库已经迁移到了新的地址，但为了方便访问，旧的存储库仍然保留了原始论文的链接。通过使用`...
hep_ml：高能物理的机器学习
02-03
hep_ml提供用于高能物理的特定机器学习工具。 主要特点 统一分类器-预测与质量（或某些其他变量，甚至一组变量）相关性较低的分类器 uBoost内部优化的实现 UGradientBoosting （具有不同的损失，尤其是FlatnessLoss...
集成学习终篇：从CART回归树开始，经历BDT、GBDT彻底理解XGBoost - 知乎1
08-03
集成学习是一种将多个弱预测器组合成一个强预测器的方法，它可以显著提高预测的准确性。在本篇中，我们从CART回归树开始，逐步深入到Boosting算法，特别是Gradient Boosting Decision Tree (GBDT)以及XGBoost，探讨...
七参数在matlab中的代码-CNN-BDT:CNN-BDT
06-03
七参数在matlab中的代码CNN-BDT 该存储库包含名为 CNN-BDT 的方法的代码，因为它使用 CNN（卷积神经网络）和 BDT（袋装决策树）。 CNN 用于 PCE（功耗估计）模块，该模块基于七个不同的参数来估计 EV 的功耗： 车速 ...
DBT是什么
weixin_38030820的博客
03-14 1282
仅使用 SQL 语句或 Python 数据帧编写业务逻辑，返回所需的数据集，dbt 负责select物化.构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。DBT 针对您的数据平台编译并运行您的分析代码，使您和您的团队能够在指标、见解和业务定义的单一事实来源上进行协作。作为 dbt 用户，您的主要关注点将是编写反映核心业务逻辑的模型（即选择查询）——无需编写样板代码来创建表和视图，也无需定义模型的执行顺序。通常，数据源中的记录是可变的，因为它们会随时间而变化。
初识DBT以及搭建第一个DBT工程
淡定一生2333的博客
07-30 1426
按照官方的说法，DBT 是一个数据转换流编排工具。个人理解就是，DBT是帮你编排SQL用的，你可以按照DBT的结构，构建好一个SQL的pipeline，然后让DBT帮你执行这个pipeline。我这里说的SQL pipeline的意思就是，先执行SQL a，再执行SQL b，类似这种。个人理解这就是DBT最大也是最核心的功能！因为在DBT中的操作基本都是关于SQL的操作，所以DBT才对外宣称自己是专门做ETL中的T（当然它也有支持一部分的python代码，但是貌似支队一小部分数据库提供支持）。
大数据工具之dbt
长沙老码农
08-31 7309
是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。一词较常用在数据仓库.是一个很不错的进行中的处理的工具，灵活简单，我们需要写的就是select 语句，剩下的dbt 帮助我们进行处理官网地址：https://docs.getdbt.com/............
【dbt】数据加工大师浅谈
auzurdragon的博客
05-28 854
dbtdbt是 dbt labs 公司在2016年推出的一款基于 Python 的开源数据加工工具。从2019年开始，dbt的用户数量增涨十分迅速。dbt labs 凭借此工具，在2022年估值达到了 42 亿美金。dbt。
掌握数据转换的艺术：深入解析DBT的安装
weixin_59343746的博客
01-22 2057
DBT全称为"数据构建工具"（Data Build Tool），是一种用于数据转换和建模的开源工具。它主要用于处理数据仓库中的原始数据，帮助数据分析师和数据工程师将数据转换成更有用的形式，以支持业务分析和报告。DBT的工作方式是将数据转换过程从ETL（提取、转换、加载）中分离出来，专注于转换部分。它采用SQL语言来定义转换规则，使得数据分析人员能够更直观地理解和管理数据转换逻辑。通过使用DBT，团队可以更加灵活地处理数据，快速构建和调整数据模型，以适应不断变化的业务需求。
大数据——DBT：数据治理、血缘关系DBT的安装及测试（基础使用篇）
caron的博客
03-27 5737
DBT血缘关系监控，数据质量效验都很方便
基于dbt的机器学习：流畅的过程衔接
saprrows的博客
04-07 439
DBT 继承了我们在 SQL 上的工作，在数据工程师、数据分析工程师和任何数据角色之间构建了一个优雅、通用的、操作友好的环境。工具和工作流的统一在数据组织内为不同团队之间创建了互操作性。就像在接力赛中一样，在过程的各个阶段都有明确的交接点和明确的所有权。但截止目前，还有一个环节仍然痛苦且不确定：机器学习（ML）工程师和数据分析工程师之间的衔接。根据我的经验，ML工程和数据分析工程之间的初始协作工作流程开始时很强大，但最终在维护阶段变得混乱。这最终导致项目变得无法使用和被遗忘。
DBT构建和部署机器学习模型预测订单退货
qq_38767591的博客
03-30 105
在这篇博文中，我们将引导您了解如何使用 fal 和 dbt 来训练和存储逻辑回归 ML 模型，对新数据进行预测，并将这些预测存储在 dbt 模型中。接下来，我们将模型权重保存到本地存储。在我们的例子中，逻辑回归模型的输出将是给定客户的年龄和订单总价格的订单被退回的概率。这个新的dbt模型将首先选择最佳的逻辑回归模型，使用它来预测订单是否会被退回，最后将其预测存储在我们的数据仓库中。如您所见，我们正在计算两个 dbt 模型，并且 .顾名思义，一个数据集包含标记的数据，而另一个数据集包含未标记的“新鲜”数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值