决策树系列(四):集成学习->boosting->提升树->GBDT(梯度提升决策树)-详细原理解析

1 GBDT简介 GBDT,英文全称是Gradient Boosting Decision Tree,梯度提升决策树,顾名思义,与梯度、boosting算法、决策树有关。是一种迭代的决策树算法,由多棵决策树组成,每一颗决策树也叫做基学习器,GBDT最后的结果就是将所有基学习器的结果相加。 2 bo...

2019-03-22 17:06:53

阅读数 199

评论数 0

决策树系列(三):CART(分类回归树)-详细原理解析及代码

CART,又名分类回归树,有以下特点: (1)CART是一棵二叉树; (2)CART既能是分类树,又能是回归树; (3)当CART是分类树时,采用GINI值作为节点分裂的依据;当CART是回归树时,采用MSE(均方误差)作为节点分裂的依据; 分类树和回归树的区别? 针对分类任务,就是分类树;针对回...

2019-03-21 17:34:21

阅读数 116

评论数 0

PCA:详细解释主成分分析

1 PCA目的/作用 主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数据维度,同时保留住较多的原数据点的特性。 PCA降维的目的,就是为了在尽量保证“信息量不丢失”的...

2018-09-04 15:33:33

阅读数 3425

评论数 0

特征工程步骤——以二分类问题为例

一 特征工程 1、初步分析阶段 数据的探索分析EDA,是对数据进行初步的统计分析,统计数据的分布、异常、相互关系,目标是让我们了解这些数据能告诉我们什么。可以用来指导我们进行模型的选择,比如说帮助我们初步的决定哪些特征需要被使用,哪些特征需要被剔除。 1、准备好样本、特征、label 2、...

2018-08-28 19:50:22

阅读数 1344

评论数 0

机器学习算法经验

1、特征值归一化 背景:好多算法都是基于参数的,并且涉及到了梯度下降优化方法 目的:为了让所有的特征的值,具有相同的量纲 原因:拿LR举例,属于基于参数的算法,用到了梯度下降算法。在计算梯度的时候,如果特征值不进行归一化处理,那么在同一个学习率的情况下,拥有较小特征值的特征就学习的不好(因为...

2018-08-28 10:41:27

阅读数 402

评论数 0

决策树系列(二):随机森林(random forest)

随机森林,属于集成算法bagging的一种,关于什么是bagging看这里决策树(1)集成学习 (ensemble learning)–boosting与bagging的区别 1、简单原理以及特点 1)随机森林,属于集成算法bagging的一种,由多个基分类器组合而成,最终的预测结果是多个...

2018-07-26 17:39:15

阅读数 364

评论数 0

决策树系列(一):集成学习(ensemble learning)->boosting与bagging的区别

参考文献 GBDT回归树过程详解 https://blog.csdn.net/zhangbaoanhadoop/article/details/79904916 机器学习中的算法(1)-决策树模型组合之随机森林与GBDT https://www.cnblogs.com/LeftN...

2018-07-24 17:53:24

阅读数 214

评论数 0

win10 更新pip出错

我在pycharm的Terminal中,更新pip的时候,出现了以下错误: 原因:可能与最近的Windows 10更新有关。我的版本如下:在cmd中输入msinfo32,回车,可以看到版本信息。 解决办法:直接运行cmd,输入python -m pip install -U pip,就...

2018-05-15 18:06:29

阅读数 531

评论数 0

基于虚拟环境的TensorFlow安装 on Mac OS X

TensorFlow官网上建议使用virtualenv(虚拟环境)安装。 Virtualenv是与其他Python开发隔离的虚拟Python环境,不会在同一台机器上干扰或受到其他Python程序的影响。

2018-04-10 20:08:02

阅读数 159

评论数 0

逻辑回归

以下内容,大家不要看,这些只是我的一些临时感悟,暂时记录在这里。 逻辑回归(Logistic Regression) 假设有这样一个场景,我要对一些用户进行营销,然后根据这些用户的信息,看他们是否会对营销有响应。这些用户就叫做样本,每一个用户的信息就叫做该用户的特征;是否响应就是该用户的类...

2018-04-09 19:19:03

阅读数 183

评论数 0

使用git时候的坑

git有4个区域: 工作区(working directory) :工作区是我们能看到的区域,就是本地目录,我们在目录里面进行操作; 暂存区(stage index):git add命令就是将文件从工作区添加到暂存区; 本地版本库(repository):git commit命令就是将暂...

2018-04-08 20:28:05

阅读数 289

评论数 0

(二)要修改之前推送到远程库中的文件,并重新推送上去

上一篇我们讲了如何将本地的文件推送到远程库中,现在假如我们要修改上次推送的文件中的内容,并且重新推送到相同的远程库中,该怎么做呢?

2018-04-08 19:57:48

阅读数 225

评论数 0

(一) 第一次向自己的gitlab仓库推送文件

第一次向自己的gitlab仓库推送文件

2018-03-23 20:10:15

阅读数 2100

评论数 3

Faster-RCNN Tensorflow版本源码解析(二)train_net.py所用到的函数

这里将要解析的是Faster-RCNN Tensorflow版本,fork自githubFaster-RCNN_TF。 1. 背景交代 Faster-RCNN_TF中,网络的训练文件是 Faster-RCNN_TF/tools/train_net.py。我们已经在Faster-RCNN T...

2017-10-10 16:55:40

阅读数 4751

评论数 4

Faster-RCNN Tensorflow版本源码解析(一):网络训练部分train_net.py

这里将要解析的是Faster-RCNN Tensorflow版本,fork自githubFaster-RCNN_TF。 网络训练部分 Faster-RCNN_TF中,网络的训练文件是 Faster-RCNN_TF/tools/train_net.py。 1. 启动训练的方法 我们...

2017-10-10 10:22:47

阅读数 8749

评论数 4

用自己的数据训练Faster-RCNN,tensorflow版本(二)

我用的Faster-RCNN是tensorflow版本,fork自githubFaster-RCNN_TF

2017-09-26 12:45:10

阅读数 13071

评论数 6

用自己的数据训练Faster-RCNN,tensorflow版本(一)

我用的Faster-RCNN是tensorflow版本,fork自githubFaster-RCNN_TF

2017-09-20 20:26:08

阅读数 26182

评论数 13

faster-rcnn 原理解析

以下都是本人的个人见解与总结,不妥之处欢迎指正。 faster-rcnn的原理

2017-08-30 17:54:36

阅读数 3223

评论数 6

python 创建并解析XML

建议使用python库中的xml.etree.ElementTree,参考自用 ElementTree 在 Python 中解析 XML(1 )创建XML文件# coding=utf-8 try: import xml.etree.cElementTree as ET except Imp...

2017-08-29 11:56:41

阅读数 496

评论数 0

编程中的快速数学公式 python

已知三角形的三个顶点坐标,求三角形面积。 公式如下:S_ABC=|x1(y2-y3) + x2(y3-y1) + x3(y1-y2)| / 2 判断一个点是否在已知三角形内部(四边形同理)。 方法:用面积法,若S_ABC = S_PAB + S_PBC + S_PCA, 则点P(x,y...

2017-08-18 16:26:56

阅读数 4117

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭