机器学习常见算法概述

版权声明:如需转载,请注明出处http://blog.csdn.net/a819825294 https://blog.csdn.net/a819825294/article/details/52275798

本文主要包括常见机器学习算法的实现,其中数学推导、原理、并行实现会给出链接。

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。

1、K近邻(KNN)

算法


逼近离散值函数f的KNN算法

修改目标函数,则可以逼近连续值的目标函数

可以使用距离加权

其中

实现

(1)C++版本 http://blog.csdn.net/mimi9919/article/details/51172095
(2)python版本 可以参考机器学习实战

2、感知机

一篇介绍感知机原理很不错的文章:http://blog.csdn.net/dream_angel_z/article/details/48915561

感知机的损失函数是误分类点到超平面的距离

算法


实现

(1)C++版本 http://blog.csdn.net/idmer/article/details/49365301

3、朴素贝叶斯

算法

实现

(1)C++版本 http://blog.csdn.net/idmer/article/details/48809677

4、分类回归树(CART)

CART由ID3,C4.5慢慢演化而来,是许多基于树的bagging、boosting模型的基础,非常重要。

算法


其中,5.25如下

实现

(1)C++版本 http://blog.csdn.net/a819825294/article/details/51995323
(2)python版本 可以参考机器学习实战

5、逻辑斯蒂回归(LR)

算法

(1)模型参数估计

(2)梯度下降学习参数

(3)最终模型

更多原理

http://blog.csdn.net/a819825294/article/details/51172466

实现

(1)C++版本 http://www.chawenti.com/articles/15254.html
(2)python版本 可以参考机器学习实战

分布式

http://www.csdn.net/article/2014-02-13/2818400-2014-02-13

6、支持向量机(SVM)

算法


更多原理

http://blog.csdn.net/a819825294/article/details/51679152

实现

(1)C++版本 libsvm
(2)python版本 可以参考机器学习实战

7、神经网络(NN)

算法

实现

(1)C++版本 https://github.com/matthewrdev/Neural-Network

8、随机森林(RF)

算法

更多原理

http://blog.csdn.net/a819825294/article/details/51177435

实现

(1)C++版本 http://download.csdn.net/download/qq_17506541/8866653

9、AdaBoost

算法


实现

(1)C++版本 http://blog.csdn.net/a819825294/article/details/51995323
(2)python版本 可以参考机器学习实战

10、梯度提升树(GBDT)

算法


更多原理

http://blog.csdn.net/a819825294/article/details/51188740

实现

(1)C++版本 http://blog.csdn.net/a819825294/article/details/51995323

11、XGBoost

更多原理

http://blog.csdn.net/a819825294/article/details/51206410

实现

https://github.com/dmlc/xgboost

12、KMeans

算法

实现

(1)C++版本 http://blog.csdn.net/qll125596718/article/details/8243404

13、PCA

算法

参考文献
(1)《机器学习》 卡内基梅隆大学 Tom M.Mitchell
(2)《机器学习》 周志华
(3)《统计学习方法》 李航

展开阅读全文

没有更多推荐了,返回首页