2018年03月_kingsam_

07月 06月 04月 03月 01月

原创 xgboost原理分析以及实践

摘要本文在写完GBDT的三篇文章后本来就想写的，但一直没有时间，终于刚好碰上需要，有空来写这篇关于xgboost原理以及一些实践的东西（这里实践不是指给出代码然后跑结果，而是我们来手动算一算整个xgboost流程）由于网上已经许多优秀的文章对xgboost原理进行了详细的介绍，特别是xgboost作者陈天奇的论文以及slide已经非常完整阐述了整个xgboost的来龙去脉，现有的文章基本也...

2018-03-10 00:44:28 24829 55

原创优化算法-总结2

摘要：之前写过一篇关于常见优化算法的总结，但是当时由于时间的关系，没有做太多细节的总结。这篇文章结合上一篇文章，做更加细节的总结。梯度下降法在优化算法里面，梯度下降法是最为核心的一个算法，我们熟知，所谓的梯度下降法就是形如下式的式： wt:=wt−1−λ∂L∂w(0)(0)wt:=wt−1−λ∂L∂ww^t :=w^{t-1}-\lambda\frac{\partial L}{\...

2018-03-14 23:20:20 979

原创 AdaBoost简单总结

摘要：继前面的gbdt,xgboost，这里是关于另外一个很有名的boosting算法，Adaboost，Ada是Adaptive的缩写（此外，有一种优化算法adagrad，自适应梯度下降也是用的adaptive缩写）。同时由于网上对Adaboost的介绍的资料也很充足。在李航《统计学习方法》上面也有一个实际演算的例子。周志华《西瓜书》也对adaboost作了比较清晰的分析，所这里只是简单...

2018-03-13 14:38:06 1782

原创 SVD与PCA的问题

摘要：继上一篇文章对PCA分析后，这篇文章将介绍一个每提及PCA时，都会提到的名字SVD。SVD是什么？SVD，奇异值分解。是属于矩阵分解里面的一种方法。在谈论SVD之前，其实有必要回忆另外的一种很常用的矩阵分解。可以看到，对于任意的n×n的对称矩阵A，都存在A=VDVTA=VDVTA=VDV^T。那么假如矩阵A不是方针那么是否存在类似的分解呢？没错，这个就是SVD...

2018-03-06 21:03:18 2113 2

原创 PCA学习记录

摘要：本文主要讨论的对象是PCA（主成分分析）。PCA是什么？PCA（主成分分析）在机器学习中的应用很广泛，通常PCA可以用来对数据进行降维，或者说将数据从高维的空间映射到低维的空间。简单来说，所谓的降维其实就是这么一个过程：假设原始数据有nnn个样例，mmm个特征，也就是n×mn×mn×m的矩阵。把这个n×mn×mn×m的规模的矩阵映射成一个n×kn×kn×k的矩阵过程就是一...

2018-03-06 14:56:05 809

Wide &Deep learning for Recommender Systems

wide&deep 广度深度模型协同过滤

2017-07-24

A Hybrid Collaborative Filtering Model with Deep Structure

本ppt是关于论文A Hybrid Collaborative Filtering Model with Deep Structure，和协同过滤，自编码器的介绍。

2017-07-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人