xgboost原理分析以及实践

摘要 本文在写完GBDT的三篇文章后本来就想写的,但一直没有时间,终于刚好碰上需要,有空来写这篇关于xgboost原理以及一些实践的东西(这里实践不是指给出代码然后跑结果,而是我们来手动算一算整个xgboost流程) 由于网上已经许多优秀的文章对xgboost原理进行了详细的介绍,特别是xgb...

2018-03-10 00:44:28

阅读数 5735

评论数 29

优化算法-总结2

摘要: 之前写过一篇关于常见优化算法的总结,但是当时由于时间的关系,没有做太多细节的总结。这篇文章结合上一篇文章,做更加细节的总结。 梯度下降法 在优化算法里面,梯度下降法是最为核心的一个算法,我们熟知,所谓的梯度下降法就是形如下式的式: wt:=wt−1−λ∂L∂w(0)(0)wt:...

2018-03-14 23:20:20

阅读数 575

评论数 0

AdaBoost简单总结

摘要: 继前面的gbdt,xgboost,这里是关于另外一个很有名的boosting算法,Adaboost,Ada是Adaptive的缩写(此外,有一种优化算法adagrad,自适应梯度下降也是用的adaptive缩写)。 同时由于网上对Adaboost的介绍的资料也很充足。在李航《统计学习方...

2018-03-13 14:38:06

阅读数 662

评论数 0

SVD与PCA的问题

摘要: 继上一篇文章对PCA分析后,这篇文章将介绍一个每提及PCA时,都会提到的名字SVD。 SVD是什么? SVD,奇异值分解。是属于矩阵分解里面的一种方法。 在谈论SVD之前,其实有必要回忆另外的一种很常用的矩阵分解。 可以看到,对于任意的n×n的对称矩阵A,都存在A=VDV...

2018-03-06 21:03:18

阅读数 1062

评论数 2

PCA学习记录

摘要: 本文主要讨论的对象是PCA(主成分分析)。 PCA是什么? PCA(主成分分析)在机器学习中的应用很广泛,通常PCA可以用来对数据进行降维,或者说将数据从高维的空间映射到低维的空间。简单来说,所谓的降维其实就是这么一个过程: 假设原始数据有nnn个样例,mmm个特征,也就是n×...

2018-03-06 14:56:05

阅读数 442

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭