机器学习
文章平均质量分 84
Y学习使我快乐V
机器学习,深度学习,自然语言处理的初学者
展开
-
期望最大化(Expectation Maximization)算法介绍
一. 前言期望最大化(Expectation Maximization)算法(EM算法)在实际的应用中受到的关注不是特别的重,但是在学术中EM算法是其它很多算法的基础,如隐马尔科夫算法(HMM),LDA主题模型的变分推断等等。所以,理解EM算法对其它算法的学习还是很重要的。本文是对期望最大化算法(EM算法)做一个总结。概率模型有时既含有观测变量,又含有隐变量。如果概率模型的变量都是观测变量...原创 2018-09-04 21:00:50 · 10393 阅读 · 2 评论 -
谱聚类(Spectral Clustering)算法介绍
一. 前言本来想写关于聚类系列算法的介绍,但是聚类系列的其它几个算法原理比较简单,网上有大量的教程可以查阅。这里主要是介绍一下谱聚类算法,做一个学习笔记,同时也希望对想要了解该算法的朋友有一个帮助。关于聚类的其他系列算法,这里推荐一个写的很不错的博客。谱聚类在最近几年变得受欢迎起来,主要原因就是它实现简单,聚类效果经常优于传统的聚类算法(如K-Means算法)。刚开始学习谱聚类的时候,给人...原创 2018-09-03 10:54:01 · 69232 阅读 · 18 评论 -
GBDT基本原理及算法描述
一. 前言在AdaBoost基本原理与算法描述中,我们介绍了AdaBoost的基本原理,本篇博客将介绍boosting系列算法中的另一个代表算法GBDT(Gradient Boosting Decision Tree,梯度提升树)算法。这里对GBDT的学习做一个总结,也希望对有帮助的同学能有一个帮助。在介绍AdaBoost的时候我们讲到了,AdaBoost算法是模型为加法模型,损失函数为指...原创 2018-08-25 13:16:21 · 54810 阅读 · 10 评论 -
AdaBoost基本原理与算法描述
一. 前言最近在看集成学习方法,前面已经对XGBoost的原理与简单实践做了介绍,这次对AdaBoost算法做个学习笔记,来巩固自己所学的知识,同时也希望对需要帮助的人有所帮助。关于集成学习主要有两大分支,一种是bagging方法,一种是boosting方法。bagging方法的弱学习器之间没有依赖关系,各个学习器可以并行生成,最终通过某种策略进行集成得到强学习器(比如回归问题用所有弱...原创 2018-08-21 19:59:33 · 26294 阅读 · 2 评论 -
随机森林基本原理与算法描述
一. 前言在前几篇博文中我们介绍了boosting系列的几个主要算法GBDT、AdaBoost和XGboost的基本原理与算法描述。本篇博文将介绍集成学习的另一大分支bagging方法的代表算法随机森林(Random Forest)算法。bagging系列的算法原理相较于boosting系列的算法要简单不少。bagging方法各个子树并行的生成,而不像boosting系列算法,下一棵子树的...原创 2018-08-27 23:17:49 · 22520 阅读 · 3 评论 -
XGBoost Python实战
一. 前言在XGBoost基本原理博文中我们介绍了XGBoost的基本原理,本篇博文我们将介绍XGBoost的基本使用方法,作为新手的学习参考。 本文使用kaggle上的泰坦尼克数据集,只是对XGBoost的使用做一个简单的描述,若想知道Kaggle的整个竞赛流程以及在竞赛中如何使用XGBoost进行预测的话,关注本博客,以后会陆续推出与竞赛内容相关的博客及代码。kaggle的泰坦尼克的数...原创 2018-08-20 12:27:37 · 14265 阅读 · 2 评论 -
决策树算法介绍
一. 前言本篇博文主要对决策树算法做一个总结。主要内容包括,ID3算法和C4.5算法的简单介绍、CART算法的重点介绍和决策树是如何剪枝的,以及决策树的优缺点和决策树在sklearn中使用的一些技巧。决策树是一种基本的分类与回归方法。它的预测结果容易理解,易于向业务部门解释,预测速度快,可以处理类别型(离散型)数据和数值型(连续型)数据。决策树学习通常包括3个步骤:特征选择、决策树的生成和...原创 2018-08-27 16:28:06 · 18534 阅读 · 1 评论 -
XGBoost的基本原理
XGBoost原理与实践原创 2018-08-18 15:15:23 · 32499 阅读 · 2 评论 -
Lightgbm基本原理介绍
一、 前言最近在做Kaggle比赛的时候,看到别人的Kenels中都用到了lightgbm,自己也试图用了一下,发现效果很好,最重要的是它相对于XGBoost算法,大大的降低了运行的速度。所以就对Lightgbm的原理探了个究竟,这里就对Lightgbm论文的理解以及对官网上对Lightgbm的介绍做一个学习笔记。传统的boosting算法(如GBDT和XGBoost)已经有相当好的效率,...原创 2018-09-22 22:52:58 · 79661 阅读 · 4 评论