机器学习
文章平均质量分 78
苏冉旭
这个作者很懒,什么都没留下…
展开
-
GBDT(MART) 迭代决策树入门教程 | 简介
GBDT(GradientBoostingDecisionTree)又叫MART(MultipleAdditiveRegressionTree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。后记...原创 2015-11-18 17:47:49 · 21720 阅读 · 29 评论 -
【原创】Logistic regression (逻辑回归) 概述
Logistic regression (逻辑回归)是当前业界比较常用的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。(注意这里是:“可能性”,而非数学上的“概率”,logisitc回归的结果并非数学定义中的概率值,不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和,而非直接相乘) 那么它究竟是什么原创 2015-11-19 15:07:17 · 2934 阅读 · 1 评论 -
先验概率,后验概率,似然概率,条件概率,贝叶斯,最大似然
总是搞混,这里总结一下常规的叫法:先验概率:事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(x),P(y)。后验概率:事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。条件概率:一个事件发生后另一个事件发生的概率。一般的形式为P(x|y)表示y原创 2015-12-16 13:48:22 · 5956 阅读 · 0 评论 -
【原创】GBDT(MART)概念简介
GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种用于回归的机器学习算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。当把目标函数做变换后,该算法亦可用于分类或排序。 本文主要从高层明确几个GBDT概念,主要讲GBDT的两个版本以及GBDT是什么不是什么。详细介原创 2015-11-18 17:51:33 · 3133 阅读 · 0 评论 -
TensorFlow进阶教程
目标读者:假设读者是已经熟悉python,并且已经看了一些tensorflow示例程序,希望能了解tensorflow的内在编码规则、特点和高效的编码方式。如果是这样,本文会适合你。本文切入点是介绍tensorflow与python/numpy的不同以及语法习惯/编程思路的转换,然后介绍TF语言的重要特征和推荐的编程习惯及方法;如果读者还不熟悉numpy或python,请先学习相应教程。如...原创 2019-02-17 17:29:29 · 974 阅读 · 0 评论 -
tensorflow NAN常见原因和解决方法
最近遇到NAN的问题,花了很久才真正解决。发现网上大部分解决方法都不对或者不彻底,因此单独总结一下。一、NAN原因所有NAN都是这个原因:正向计算时节点数值越界,或反向传播时gradient数值越界;无论正反向,数值越界基本只有两种操作会导致:a) 节点/W/gradient数值逐渐变大直至越界b) 有除零操作,包括0/0。二、现象两者的现象可能一样,绝大多...原创 2019-02-14 13:02:01 · 14312 阅读 · 1 评论 -
log softmax的梯度求解 (Gradient of log(softmax) )
背景DNN分类任务中,有两个相似的常见的损失函数:1)二分类:-log(sigmoid(x)), 其等价于softplus(-x),曲线比较直观,比较好理解。-- 《Deep Learning Book》中有较为详细的推导和曲线图,这里不复述。2)多分类:cross_entropy(softmax(x)),或-log(softmax(x)); 但这个函数不好画曲线,很少有资料描述它的梯...原创 2019-04-09 19:54:42 · 2105 阅读 · 0 评论