机器学习
fan_fan_feng
keep study
展开
-
统计学习方法之感知机
《统计学习方法》系列笔记的第一篇,对应原著第二章。大量引用原著讲解,加入了自己的理解。对书中算法采用Python实现,并用Matplotlib可视化了动画出来,应该算是很硬派了。一套干货下来,很是辛苦,要是能坚持下去就好。概念感知机是二分类模型,输入实例的特征向量,输出实例的±类别。感知机模型定义假设输入空间是,输出空间是,x和y分属这两个空间,那么由输入空间到输出空间的如下函数:称为感知机。其中...转载 2018-03-13 19:45:49 · 183 阅读 · 0 评论 -
统计学习方法之决策树
转载自:http://www.hankcs.com/ml/decision-tree.html“何以别离久,何以少团栾。”本文对应《统计学习方法》第5章,用Python实现了决策树的ID3生成算法和C4.5生成算法,并用matplotlib可视化出来。决策树模型与学习决策树模型分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部节点和叶节点,内部节点表示...转载 2018-03-29 20:25:34 · 347 阅读 · 0 评论 -
统计学习方法之EM算法及其推广
转至:http://www.hankcs.com/ml/em-algorithm-and-its-generalization.html本文是《统计学习方法》第九章的笔记,注解了原著的部分公式推导,补充了另一个经典的双硬币模型,并且注释了一份数十行的EM算法Python简明实现。如果概率模型的变量都是观测变量(数据中可见的变量),则可以直接用极大似然估计,或者用贝叶斯估计模型参数。但是,当模型含有...转载 2018-04-14 15:32:10 · 1197 阅读 · 0 评论 -
统计学习方法之 adaBoost
转载:http://www.hankcs.com/ml/adaboost.html本文是《统计学习方法》第8章提升方法的笔记,整合了《机器学习实战》中的提升树Python代码,并添加了注解和PR值计算代码。《方法》重理论,但不易理解,《实战》重实践,但缺乏理论基础,特别是AdaBoost算法的解释、提升树与加法模型的关系等。两相结合,应该能获得较为全面的知识。提升方法AdaBoost算法提升方法的...转载 2018-04-12 18:14:51 · 2525 阅读 · 0 评论 -
统计学习方法之隐马尔可夫模型
转载:http://www.hankcs.com/ml/hidden-markov-model.html本文是《统计学习方法》第10章的笔记,用一段167行的Python代码实现了隐马模型观测序列的生成、前向后向算法、Baum-Welch无监督训练、维特比算法。公式与代码相互对照,循序渐进。HMM算是个特别常见的模型,早在我没有挖ML这个坑的时候,就已经在用HMM做基于字符序列标注的分词和词性标注...转载 2018-04-19 20:49:14 · 910 阅读 · 0 评论 -
RF、GBDT、XGboost特征选择方法
转载至:https://blog.csdn.net/u014035615/article/details/79612827RF、GBDT、XGboost都可以做特征选择,属于特征选择中的嵌入式方法。比如在sklearn中,可以用属性feature_importances_去查看特征的重要度, 比如: from sklearn import ensemble #grd ...转载 2018-10-11 11:23:06 · 3478 阅读 · 0 评论