机器学习+数据挖掘
文章平均质量分 80
_Cade_
QQ:1004573547
展开
-
林达华推荐的几本数学书
From: http://dahua.spaces.live.com/default.aspx 1. 线性代数 (Linear Algebra):我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是Introdu转载 2014-05-25 10:41:26 · 929 阅读 · 0 评论 -
ID3 和 C4.5的简单比较
ID3算法是决策树的一个经典的构造算法,在一段时期内曾是同类研究工作的比较对象,但通过近些年国内外学者的研究,ID3算法也暴露出一些问题,具体如下: (1)信息增益的计算依赖于特征数目较多的特征,而属性取值最多的属性并不一定最优。 (2)ID3是非递增算法。 (3)ID3是单变量决策树(在分枝节点上只考虑单个属性),许多复杂概念的表达困难,属性相互关系强调转载 2014-12-13 22:51:59 · 4422 阅读 · 1 评论 -
Backpropagation Algorithm记录
http://deeplearning.stanford.edu/wiki/index.php/Backpropagation_AlgorithmUFLDL Tutorial 中没有给出推导公式,这里简单记录一下记法和简单推导过程原创 2015-06-20 14:40:40 · 817 阅读 · 0 评论 -
最小角回归(least angle regression) 的一点记录
least angle regression (LARS)给定线性无关按行排列的数据X=(x1,...,xn)TX=(x_1,...,x_n)^T,数据labelyy。不妨假设XX中心化且列归一化,yy去中心化,即∑i=1nyi=0,∑i=1nxij=0,∑i=1nx2ij=1\sum_{i = 1}^n y_i = 0,\quad \sum_{i=1}^n x_{ij}=0, \quad \s原创 2017-06-22 18:20:51 · 3771 阅读 · 0 评论 -
关于MCMC的一点理解
感谢作者,这两篇资料都是非常好的入门材料:http://www.52nlp.cn/lda-math-mcmc-和-gibbs-sampling2http://www.cnblogs.com/pinard/p/6638955.html其他的一些资料作为补充(可以找到一些证明):随机过程,Sheldon M. Ross(非测度随机过程)PRML第11章下面是一些理解障碍,在学习过程中容易卡...原创 2018-11-08 15:09:06 · 747 阅读 · 0 评论 -
Attention is all you need Transformer和Attention实现和注释
参考:跟着论文《 Attention is All You Need》一步一步实现Attention和Transformer对上面博客中提供的代码的一些细节进行注释。由于是以机器翻译作为例子。对于没有接触过这方面的,特别是做视觉的会有很多细节不能理解,我花了一些时间,看了torchtext的使用以及机器翻译的过程,给代码做了写注释。torchtext的使用:参考1,参考2,t...原创 2019-07-10 22:18:28 · 630 阅读 · 1 评论