机器学习十大算法
本专栏结合《统计学习方法》《机器学习(西瓜书)》《机器学习实践(Peter Harrington)》三本书中算法及程序。
gdtop818
这个作者很懒,什么都没留下…
展开
-
[MLReview]Reference 机器学习参考资料
最近要面試學的太多寫寫總結參考书籍:李航《统计学习方法》周志华《机器学习》Peter Harrington《MachineLearninginAction》Yoshua Bengio《Deep Learning》Sebastian Raschka 《Python Machine Learning 2nd》參考课程:Andrew ng - machine learning呂忠津 - Special ...原创 2018-04-23 20:22:32 · 652 阅读 · 0 评论 -
[MLReview] Ensemble Learning 集成学习算法代码实现
把集成学习放在第二个写是因为ensemble learning虽然有learning,但是在算法中并未显式表现出learning,并且也含有“投票表决”的部分内容,跟knn分类的思想比较像。(GBDT和Random Forest同属集成学习 属于比较重要的算法 之后会单独开专题写写 先mark)一、算法思想:1、集成学习通过训练多个分类器,然后把这些分类器组合起来,以达到更好的预测性能...原创 2018-04-24 17:54:12 · 4147 阅读 · 0 评论 -
[MLReview] k-NearestNeighbor k邻近算法代码实现
一、分类模型(classification)近邻算法大约是最简单的算法之一,但是在许多场景中却出奇地好用。knn的核心思想是样本在特征空间中的k个最近邻的样本,然后让这k的样本“投票表决”待分类样本的类别。 二、缺点:1、原始样本数据不均衡,某一类样本数量很大2、可理解性差,对比决策树 三、算法及数学推导(截图出来看,引用自李航老师的《统计学习方法》)显而易...原创 2018-04-24 01:34:40 · 493 阅读 · 0 评论 -
[MLReview] Logistic Regression 逻辑回归代码实现
邏輯回歸湾湾的叫法是这个,感觉还不错~前言:逻辑斯谛回归是最大熵模型的一个准则,属于对数线性模型。本文主要对逻辑回归的原理及代码实现做出说明。并在文末附上拟牛顿法的彩蛋,决定现在每写一篇顺带写一些会用到的数学方法。条件概率分布:$$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$$$$P(Y=0|x)=\frac{1}{1+exp(w\cdot...原创 2018-06-05 03:46:15 · 710 阅读 · 0 评论 -
[MLReview] Naive Bayes 朴素贝叶斯代码实现
朴素贝叶斯原创 2018-06-05 02:50:13 · 1283 阅读 · 2 评论 -
[MLReview] Decision Tree 决策树代码实现
决策树决策树(Decision Tree),简而言之就是根据特征(features)对数据进行划分(patition),构造成树。然后根据树对新的数据进行预测的方法。本质上说是从数据集中归纳出一组分类规则。我们知道决策树需要根据特征的情况进行划分,那么每一次划分的的时候,该先选取什么特征进行划分呢,这里引入熵的概念。决策树的算法特点优点:计算复杂度不高,输出结果易于理解,数据有缺失...原创 2018-04-29 17:49:32 · 1011 阅读 · 2 评论