机器学习算法GBDT的面试要点总结

转载 2018年03月23日 00:00:00

640?wx_fmt=gif

 向AI转型的程序员都关注了这个号???


大数据挖掘DT数据分析  公众号: datadw


640?wx_fmt=png

def findLossAndSplit(x,y):

    # 我们用 x 来表示训练数据

    # 我们用 y 来表示训练数据的label

    # x[i]表示训练数据的第i个特征

    # x_i 表示第i个训练样本


    # minLoss 表示最小的损失

    minLoss = Integet.max_value

    # feature 表示是训练的数据第几纬度的特征

    feature = 0

    # split 表示切分点的个数

    split = 0


    # M 表示 样本x的特征个数

    for j in range(0,M):

        # 该维特征下,特征值的每个切分点,这里具体的切分方式可以自己定义

        for c in range(0,x[j]):

            L = 0

            # 第一类

            R1 = {x|x[j] <= c}

            # 第二类

            R2 = {x|x[j] > c}

            # 属于第一类样本的y值的平均值

            y1 = ave{y|x 属于 R1}

            # 属于第二类样本的y值的平均值

            y2 = ave{y| x 属于 R2}

            # 遍历所有的样本,找到 loss funtion 的值

            for x_1 in all x

                if x_1 属于 R1: 

                    L += (y_1 - y1)^2 

                else:

                    L += (y_1 - y2)^2

            if L < minLoss:

               minLoss = L

               feature  = i

               split = c

    return minLoss,feature ,split



640?wx_fmt=png

# 定义训练数据

train_data = [[5.1,3.5,1.4,0.2],[4.9,3.0,1.4,0.2],[7.0,3.2,4.7,1.4],[6.4,3.2,4.5,1.5],[6.3,3.3,6.0,2.5],[5.8,2.7,5.1,1.9]]


# 定义label

label_data = [[1,0,0],[1,0,0],[0,1,0],[0,1,0],[0,0,1],[0,0,1]]

# index 表示的第几类

def findBestLossAndSplit(train_data,label_data,index):

        sample_numbers = len(label_data)

        feature_numbers = len(train_data[0])

        current_label = []


        # define the minLoss

        minLoss = 10000000


        # feature represents the dimensions of the feature

        feature = 0


        # split represents the detail split value

        split = 0


        # get current label

        for label_index in range(0,len(label_data)):

            current_label.append(label_data[label_index][index])


        # trans all features

        for feature_index in range(0,feature_numbers):

            ## current feature value

            current_value = []


            for sample_index in range(0,sample_numbers):

                current_value.append(train_data[sample_index][feature_index])

            L = 0

            ## different split value

            print current_value

            for index in range(0,len(current_value)):

                R1 = []

                R2 = []

                y1 = 0

                y2 = 0


                for index_1 in range(0,len(current_value)):

                    if current_value[index_1] < current_value[index]:

                        R1.append(index_1)

                    else:

                        R2.append(index_1)


                ## calculate the samples for first class

                sum_y = 0

                for index_R1 in R1:

                    sum_y += current_label[index_R1]

                if len(R1) != 0:

                    y1 = float(sum_y) / float(len(R1))

                else:

                    y1 = 0


                ## calculate the samples for second class

                sum_y = 0

                for index_R2 in R2:

                    sum_y += current_label[index_R2]

                if len(R2) != 0:

                    y2 = float(sum_y) / float(len(R2))

                else:

                    y2 = 0


                ## trans all samples to find minium loss and best split

                for index_2 in range(0,len(current_value)):

                    if index_2 in R1:

                        L += float((current_label[index_2]-y1))*float((current_label[index_2]-y1))

                    else:

                        L += float((current_label[index_2]-y2))*float((current_label[index_2]-y2))


                if L < minLoss:

                    feature = feature_index

                    split = current_value[index]

                    minLoss = L

                    print "minLoss"

                    print minLoss

                    print "split"

                    print split

                    print "feature"

                    print feature

        return minLoss,split,feature


findBestLossAndSplit(train_data,label_data,0)


3 总结

目前,我们总结了 gbdt 的算法的流程,gbdt如何选择特征,如何产生特征的组合,以及gbdt 如何用于分类,这个目前可以认为是gbdt 最经常问到的四个部分。至于剩余的问题,因为篇幅的问题,我们准备再开一个篇幅来进行总结。

https://www.cnblogs.com/ModifyRong/p/7744987.html



人工智能大数据与深度学习

搜索添加微信公众号:weic2c

640?wx_fmt=png

长按图片,识别二维码,点关注



大数据挖掘DT数据分析

搜索添加微信公众号:datadw


教你机器学习,教你数据挖掘

640?wx_fmt=jpeg

长按图片,识别二维码,点关注

机器学习算法GBDT的面试要点总结-上篇

转自 http://www.cnblogs.com/ModifyRong/p/7744987.html 1.简介     gbdt全称梯度下降树,在传统机器学习算法里面是对真实分布拟合...
  • u010867294
  • u010867294
  • 2018-01-23 13:29:39
  • 224

机器学习常见算法个人总结(面试用)

朴素贝叶斯 参考[1] 事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生A [Math Processing Error]P(A∩B)=P(A)∗P(B|...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-05-07 19:13:33
  • 1247

机器学习算法总结(面试用到)

转发自机器学习算法总结找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的...
  • qcreateo1
  • qcreateo1
  • 2016-10-30 16:01:02
  • 405

算法面试总结

面试官迟了10min,等的好紧张TT。 首先就是自我介绍。然后我本科辅修了金融学双学位,他问我研究生有没有继续学,我说没有,毕竟研究生阶段时间很紧的。 问了项目,我写的是数据挖掘十大算法,算法...
  • u011060119
  • u011060119
  • 2017-03-17 20:39:14
  • 625

机器学习高频面试题之---简述GBDT与XGBoost的区别

最近校招面试被问到了这个问题,之前也在搜集了一些资料,在此整理一下,贴在这里。一、基本概念GBDT(又称Gradient Boosted Decision Tree/Grdient Boosted R...
  • jackmcgradylee
  • jackmcgradylee
  • 2017-09-01 21:17:53
  • 1149

机器学习算法总结--GBDT

参考如下 机器学习(四)— 从gbdt到xgboost 机器学习常见算法个人总结(面试用) xgboost入门与实战(原理篇) 简介 GBDT是一个基于迭代累加的决策树算法,它通过构造一组弱的学习...
  • lc013
  • lc013
  • 2017-02-23 17:09:55
  • 5754

2015年机器学习/数据挖掘面试总结

2015年机器学习/数据挖掘面试总结        明年硕士毕业,今年开始找工作。在北方呆的太久,想回湿润的南方。        第一站(3月份),阿里数据挖掘实习生面试。个人觉得,阿里的面试是最人性...
  • u011300443
  • u011300443
  • 2015-08-31 13:42:34
  • 3407

第十一次课总结(下篇)

第十一次课的下篇主要讲到了StringBuffer、StringBuilder、Randomlei和BigDecimal类,以及几个综合性交强的作业:按照office word的标准字数统计方式,计算...
  • jscly
  • jscly
  • 2016-07-17 01:26:06
  • 149

最近的面试经历

最近去面了几个地方,这里总结一下,按时间顺序排列排名不分先后: A公司: svm的原理能不能解释一下:解释的确实不好,对于smo和损失函数没能写出来 X、Y都是向量,那么AX-Y这个向量的1范数最小求...
  • lv_tianxiaomiao
  • lv_tianxiaomiao
  • 2016-07-23 17:55:02
  • 497

机器学习常见算法总结(面试用)

朴素贝叶斯 参考[1] 事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生A P(A∩B)=P(A)∗P(B|A)=P(B)∗P(A|B) 所以有: P(A|B)=P(...
  • liangzhaoyang1
  • liangzhaoyang1
  • 2016-05-20 17:04:27
  • 10372
收藏助手
不良信息举报
您举报文章:机器学习算法GBDT的面试要点总结
举报原因:
原因补充:

(最多只允许输入30个字)