机器学习
山上之城
这个作者很懒,什么都没留下…
展开
-
逻辑回归之算法原理(简洁版)
坊间关于逻辑回归原理介绍的文章太繁多了。这里主要是做一些整理的工作,力求简洁清晰,又尽量涵盖所有要点。模型决策边界代价函数梯度下降...原创 2019-02-01 14:34:07 · 1800 阅读 · 0 评论 -
逻辑回归之为什么叫逻辑回归
为什么叫逻辑回归?我们先欣赏一条S型曲线:再来欣赏一条长得比较像、但是比较直的“曲线”:图一叫做 logistic function,又叫做 sigmod function。图二叫做单位阶跃函数。逻辑函数取值范围是(0, 1),单位阶跃函数取值范围就是0和1。“逻辑回归”的“逻辑”不是讲话很有逻辑那个逻辑,而是跟0和1有关系的那个“逻辑”,例如:逻辑运算,逻辑门(见下图)。那“回归”...原创 2019-01-31 11:18:12 · 2652 阅读 · 1 评论 -
提升树——《统计学习方法》笔记
本想写写xgboost的原理,找了一些资料,看了陈天奇博士的《Introduction to boosted trees》PPT,又看了李航的《统计学习方法》里也有介绍提升树。于是决定由浅入深——先写一下提升树算法,后面再写xgboost。说写其实也不准确,应该说“抄”。在“抄”的过程中加深学习的印象。提升树是以分类树或回归树为基学习器的提升方法。提升树被认为是统计学习中性能最好的方法之一。...原创 2019-02-12 16:30:13 · 264 阅读 · 0 评论 -
深入理解AUC——从概率意义的角度
去年开始使用AUC作为算法的其中一种离线评估指标,但是对AUC的理解其实非常肤浅。刚好最近有个小伙伴抛出一条AUC的另一种计算公式,问大家谁可以解释。乐于分享的我,深入研究了一下AUC,整了一份PPT,由浅入深,帮助大家从概率意义的角度理解AUC。红框框住的公式就是引发这场AUC小探索的导火线。咋一看挺复杂的,其实原理非常简单。且听我慢慢讲解。内容分两大部分:一是回顾一下AUC的基础知识;...原创 2019-02-22 17:38:29 · 5492 阅读 · 4 评论 -
XGBoost——论文学习笔记(前三章)
听过很多道理,依然过不好这一生——因为听到的不是真理;听过很多真理,还是过不好这一生——因为没有行出来。看过很多博客,依然搞不懂xgboost——因为看到的不是原汁原味的论文;看过原汁原味的论文,还是搞不懂xgboost——因为没有写出来。终于到了要写写xgboost的时候了。阅文无数之后,我决定还是回到最初的起点,认真咀嚼一下陈天奇博士的论文:XGBoost: A Scalable T...原创 2019-04-10 18:15:09 · 415 阅读 · 0 评论 -
陈天奇《Introduction to Boosted Trees》PPT 缩略版笔记
深入研究了一下陈天奇Boosted Tree的PPT,做了点简单的笔记,可以说是PPT的缩略版:框架有了,截了些重要的图和公式。虽然简略,但是足以学习大牛思考问题的方式。Review of key concepts of supervised learningElements in Supervised LearningModelParametersObjective func...原创 2019-03-06 16:27:10 · 2364 阅读 · 1 评论