机器学习
文章平均质量分 95
东大梅西
这个作者很懒,什么都没留下…
展开
-
深度森林:常见Warning及解决方案
本人最近使用周志华的深度森林算法去解决一些问题,于是在github上下载了官方的Gcforest程序,下载地址:https://github.com/kingfengji/gcForest运行之后发现了一些Warning,有时会导致程序无法运行,下面给出两种常见的Warning和解决方案。1. FutureWarning (1) FutureWarning: Default solver wi...转载 2020-06-25 17:08:19 · 490 阅读 · 0 评论 -
在Python 3中使用深度森林(Deep Forest)进行分类
深度森林(Deep Forest)是周志华教授和冯霁博士在2017年2月28日发表的论文《Deep Forest: Towards An Alternative to Deep Neural Networks》中提出来的一种新的可以与深度神经网络相媲美的基于树的模型,其结构如图所示。gcForest.png文中提出的多粒度级联森林(Multi-Grained Cascade Forest)是一种决策树集成方法,性能较之深度神经网络有很强的竞争力。相比深度神经网络,gcForest有如下若干转载 2020-06-22 15:51:57 · 2852 阅读 · 0 评论 -
Deep Forest(gcforest)通俗易懂理解
1.背景介绍当前的深度学习模型主要建立在神经网络上,即可以通过反向传播训练的多层参数化可微分非线性模块,周志华老师希望探索深度学习模型的新模式,探索不可微模块构建深度模型的可能性。从而提出了一种深度学习模型-----gcforest(multi-Grained Cascade Forest)上述算法主要有以下几个特点:(1)超参数少(2)模型的复杂度可以通过与数据相关的方式自动确定(3)无需使用反向传播就可以实现深度模型作者提出了三个疑问:(1)深度模型=DNN?(2)是否可以在不进行反向传转载 2020-06-21 23:06:54 · 601 阅读 · 0 评论 -
关于二元Logistics回归的损失函数的推导的问题
在知乎看到一个很有意思的问题,搬运给大家,顺便记录一下问题描述:回答问题:转载 2020-06-12 21:08:02 · 172 阅读 · 0 评论 -
Sigmoid函数推导
通过logistic曲线就可以知道sigmoid函数的导数是以它本身为因变量的函数,即f(x)' = F(f(x))sigmoid函数是一个阀值函数,不管x取什么值,对应的sigmoid函数值总是∈(0,1)1、证明f(x)' = F(f(x)) 所以 sigmoid函数的值域∈(0,1),这与概率值的范围[0,1]很是巧合,我们可以把sigmoid函数与一个概率分布联系起来,那就是伯努利分布。伯努利分布的概率质量函数为: 2、证明伯努利分布也属于指数分布族指数分布族的一般表达式 伯努利分布的概率质转载 2020-06-12 20:42:51 · 1354 阅读 · 0 评论 -
Boosting之提升树(Boosting tree)、梯度提升树(GBDT)、XGBoost
提升树是以回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树(boosting tree)。对分类问题决策树是分类树,对回归问题决策树为回归树。首先定义决策树用公式表示。提升树算法:1.首先确定初始提升树;2.第二个提升树第三个提升树……推出:3.回忆一下CART回归树,它是采用平方误差损失函数最小来决定最佳分类点,,CART的优化模型为,就是这个最佳分类点分为两类后残差最小;提升树的模型为...转载 2020-06-05 21:55:41 · 697 阅读 · 0 评论 -
李航统计学习方法公式推导参考
今天继续学习李航老师的统计学习方法,虽然老师写的很好,但是由于我的数学基础不太好,所以有些公式还是看起来有些吃力,就想在网上找一下有没有大佬写的推导公式的参考,就像周志华老师的西瓜书在网上有南瓜书作为辅助一样。结果还真被我找到了,码一下,也分享给其他需要的同学,链接如下:https://zhuanlan.zhihu.com/c_1213397558586257408感谢知乎大佬的专栏!...原创 2020-06-03 23:12:35 · 1545 阅读 · 0 评论 -
adaboost、bagging、boosting的区别
Bagging和Boosting 概念及区别Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。1、Bagging (bootstrap aggregating)Bagging即套袋法,其算法过程如下:A)从原始样本集中抽取训练集。每轮从原始样本集中使用Boots...转载 2020-06-03 13:51:10 · 1045 阅读 · 0 评论 -
GBDT用负梯度代替残差的推导
今天在B站看了GDBT的入门;GBDT模型是一个集成模型,是很多CART树的线性相加。GBDT模型可以表示为以下形式,我们约定ft(x)表示第t轮的模型,ht(x)表示第t颗决策树,模型定义如下:提升树采用前向分步算法。第t步的模型由第t-1步的模型形成,可以写成:损失函数自然定义为这样的:对于一般的回归树,采用平方误差损失函数,这时根据前向分布每次只需要达到最优化,就能保证整体上的优化。由于平方误差的特殊性,可以推导出每次只需要拟合残差(真实值-预测值)。而对于其他损失函数, Fre原创 2020-06-03 00:36:13 · 993 阅读 · 0 评论 -
对梯度提升树(GBDT)的通俗理解
综述GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树(不是分类树),GBDT用来做回归预测,调整后也可以用于分类。 GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中,Facebook使用其来自动发现.转载 2020-06-02 23:27:45 · 654 阅读 · 0 评论 -
互信息(Mutual Information)的介绍
互信息,Mutual Information,缩写为MI,表示两个变量X与Y是否有关系,以及关系的强弱。如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为:Note: 互信息 I (X; Y)可为正、负或0。互信息实际上是更广泛的相对熵的特殊情形如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率分布乘积之间的 Kullback-Leibler 散度来判断它们是否“接近”于...转载 2020-06-01 13:30:37 · 4002 阅读 · 0 评论 -
条件概率、全概率、先验概率、后验概率
**前言** 条件概率,全概率,先验概率,后验概率这么多的定义,以前是几乎遇见一次都要百度一次,一看就会,然而没有做好总结下一次还是会忘掉,好记性终究敌不过烂笔头,这次做个总结,一劳永逸,个人愚见,请大家不吝赐教。**1.条件概率** 首先上定义 :设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率为:P(A|B)=P(AB)/P(B) 一般说到条件概率这一概念的时候,事件A和事件B都是同一实验下的不同的结果集合,事件A和事件B一般是有交集的,若原创 2020-05-31 16:31:26 · 5660 阅读 · 0 评论 -
详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解
声明:本文为原创文章,发表于nebulaf91的csdn博客。欢迎转载,但请务必保留本信息,注明文章出处。 本文作者: nebula...转载 2020-04-23 10:24:13 · 201 阅读 · 0 评论 -
Lifelong Learning
Lifelong Learninghttps://www.forbes.com/sites/kpmg/2018/04/23/th...转载 2020-04-15 11:52:35 · 385 阅读 · 0 评论