中国矿业大学-Chi Yu's Blog

Email:appleyuchi@foxmail.com

论文原文解读汇总

以下是自己对一些论文原文的解读: 机器学习: 《XGBoost: A Scalable Tree Boosting System》 《CatBoost:gradient boosting with categorical features support》-2018 《LightGBM:A Hig...

2019-01-06 21:21:47

阅读数 32

评论数 0

some understandings about 《Learning representations by back-propagating errors》

Dear Professor Ronald J. Williams: From <Learning representations by back-propagating errors> the Fig....

2019-01-10 17:38:35

阅读数 42

评论数 0

关于机器学习的一些感想

1.各种竞赛啥问题? 首先各种竞赛是公司里面没有合理方案下的一个产物, 用尽可能少的成本来获取最优方案. 但是冠军方案一定是最优方案吗? 显然不是, 因为各种比赛切断了"人与人沟通"的因素, 显然对业务的理解程度更有利于你的建模, 而所谓的数据比赛禁止了这种可能...

2019-01-01 10:49:00

阅读数 24

评论数 0

李航书上隐马尔科夫模型案例的实验结果复现

主要是转载自: https://www.cnblogs.com/pinard/p/7001397.html 我自己加了些注释以及修复了一个在python2.7下面运行的bug 1) 评估观察序列概率。 给定模型λ=(A,B,π)和观测序列O 计算P(O|λ) 2)模型参数学习问题。 观测序列O ...

2018-12-31 17:37:29

阅读数 70

评论数 0

Catboost原文解读

CatBoost原文: 《CatBoost:gradient boosting with categorical features support》-2018 俄罗斯人写的文章,真的是…唉… 用词习惯和英美作者风格不太一致. ####################################...

2018-12-30 21:56:11

阅读数 260

评论数 1

通俗理解LightGBM并图解举例

算法原文是: LightGBM:A Highly Efficient Gradient Boosting Decision Tree 一句话: LightGBM是GBDT的运行速度上的升级版 文章结构如下: LightGBM={Goss(Gradient−based On...

2018-12-29 16:33:53

阅读数 69

评论数 0

线性链条件随机场与HMM在viterbi算法中的图解对比

先整理下相关概念: 条件随机场P(Y|X): 表示的是给定一组输入随机变量 X 的条件下另一组输出随机变量 Y 的马尔可夫随机场,也就是说 CRF 的特点是假设输出随机变量构成马尔可夫随机场。 什么是随机场? 官方定义: 随机场就是随机过程在空间上的推广。随机过程的基本参数是时间变量,而随机场的变...

2018-12-28 22:42:57

阅读数 68

评论数 0

生成式模型和判别式模型(转)

判别式模型(Discriminative Model):直接对条件概率p(y|x)进行建模,常见判 别模型有:线性回归、决策树、支持向量机SVM、k近邻、神经网络等; 生成式模型(Generative Model):对联合分布概率p(x,y)进行建模,常见生成式 模型有:隐马尔可夫模型HMM、朴素...

2018-12-28 11:59:22

阅读数 35

评论数 0

图解比较李航书上的viterbi算法和dijistra算法

李航P184中有句话非常奇怪,是这样的: “根据动态规划原理,最优路径具有这样的特性:如果最优路径在时刻t通过节点it∗i_t^*it∗​,那么这一路径从节点it∗i_t^*it∗​到终点iT∗i_T^*iT∗​的部分路径,对于从it∗i_t^*it∗​到iT∗i_T^*iT∗​的所有可能的部分路...

2018-12-27 21:19:51

阅读数 79

评论数 0

李航-HMM-直接计算法

第10章,隐马尔可夫模型(相关的python开源包是hmmlearn) 本章结构: 隐马尔可夫模型相关内容={概率计算方法={直接计算法(计算量过大)前向算法后向算法学习算法={监督学习方法Bsum−Welch算法预测算法={近似算法维特比算法 隐马尔可夫模型相关内容=\left\{ \begin...

2018-12-26 21:08:45

阅读数 48

评论数 0

LDA主题模型原文解读

#################LSA和LSI(start)################### 根据wikipedia: https://en.wikipedia.org/wiki/Latent_semantic_analysis 可以知道文中提到的LSI就是LSA 通常称为LSA,因为维基...

2018-12-24 22:36:09

阅读数 152

评论数 0

plsa原理

LSI就是PLSI PLSI就是PLSA 以上只是不同称谓 PLSA的原文是: 《Probabilistic Latent Semantic Indexing》 这个论文有两个版本,一个是1999年版本,一个是2017年版本,虽然内容一致,但是内容的先后顺序不一致。 然后注意: LSI和PLSI提...

2018-12-23 23:16:22

阅读数 28

评论数 0

3分钟搞懂LSI原理

假设原始矩阵如下: index words:被用户搜索到的词语 Titles:文章标题 svd分解后如下: 第1个矩阵表示某个词与主题之间的相关性 第2个矩阵表示关键词与主题之间的相关性 第3个矩阵表示关键词与某个文档之间的相关性 ...

2018-12-23 19:49:16

阅读数 83

评论数 0

xgboost论文公式解析

<XGBoost: A Scalable Tree Boosting System> 论文结构如下: 1.介绍。 2.回顾boosting Tree以及作者做的一系列修改 3.寻找最佳分割点的算法 4.加速设计 5.相关工...

2018-12-21 22:20:49

阅读数 99

评论数 0

根据权威文献区分梯度上升与梯度

百度上都在瞎写 https://statweb.stanford.edu/~jhf/ftp/trebst.pdf 第五页 "the analogy of boosting(9)(10) to steepest-descent minimization " 意思是...

2018-12-21 14:36:23

阅读数 32

评论数 0

李航第六章的BFGS算法

没啥用,在scipy中已经实现了. 参考链接如下 https://blog.csdn.net/ACdreamers/article/details/44664941

2018-12-19 15:09:11

阅读数 14

评论数 0

linearSVC,SC的linear,poly,rbf,sigmoid等效换用具体举例

plot.py # -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') # @Author: appleyuchi # @Date: 2018-12-15 20:35:21 # @Last M...

2018-12-17 17:25:40

阅读数 56

评论数 0

SMO算法原理转载+自己补充

1.SMO概念 上一篇博客已经详细介绍了SVM原理(http://blog.csdn.net/luoshixian099/article/details/51073885), 为了方便求解,把原始最优化问题转化成了其对偶问题,因为对偶问题是一个凸二次规划问题,这样的凸二次规划问题具有全局最优解,如...

2018-12-16 20:01:24

阅读数 124

评论数 0

nuSVC的使用和解读

代码来自: https://scikit-learn.org/stable/auto_examples/svm/plot_svm_nonlinear.html#sphx-glr-auto-examples-svm-plot-svm-nonlinear-py 代码如下: # -*- coding: ...

2018-12-15 22:17:53

阅读数 36

评论数 0

Error Complexity Pruning for sklearn's Regression Tree with Python Implementation

The code for Cost Complexity Pruning is here: https://github.com/appleyuchi/Decision_Tree_Prune This pruning Algorithm is based on the sklearn’s mode...

2018-12-15 14:02:42

阅读数 50

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭