机器学习算法

　一、有监督学习

算法一：决策树

决策树是一种树形结构，为人们提供决策依据，决策树可以用来回答yes和no问题，它通过树形结构将各种情况组合都表示出来，每个分支表示一次选择（选择yes还是no），直到所有选择都进行完毕，最终给出正确答案。

算法二：最小二乘法

如果你对统计学有所了解，那么你必定听说过线性回归。最小均方就是用来求线性回归的。如下图所示，平面内会有一系列点，然后我们求取一条线，使得这条线尽可能拟合这些点分布，这就是线性回归。这条线有多种找法，最小二乘法就是其中一种。最小二乘法其原理如下，找到一条线使得平面内的所有点到这条线的欧式距离和最小。这条线就是我们要求取得线。线性指的是用一条线对数据进行拟合，距离代表的是数据误差，最小二乘法可以看做是误差最小化。

 

 

算法三：逻辑回归

逻辑回归模型是一个二分类模型，它选取不同的特征与权重来对样本进行概率分类，用一各log函数计算样本属于某一类的概率。即一个样本会有一定的概率属于一个类，会有一定的概率属于另一类，概率大的类即为样本所属类。

具体应用有：信用评级、营销活动成功概率、产品销售预测、某天是否将会地震发生。

　算法四：支持向量机（SVM）

　支持向量机是一个二分类算法，它可以在N维空间找到一个(N-1)维的超平面，这个超平面可以将这些点分为两类。也就是说，平面内如果存在线性可分的两类点，SVM可以找到一条最优的直线将这些点分开。

具体应用有：大规模图像识别等。

二、无监督学习

算法一：聚类算法

聚类算法就是将一堆数据进行处理，根据它们的相似性对数据进行聚类。

聚类算法有很多种，具体如下：中心聚类、关联聚类、密度聚类、概率聚类、降维、神经网络/深度学习。

算法二：主成分分析（PCA）

主成分分析是利用正交变换将一些列可能相关数据转换为线性无关数据，从而找到主成分。

　PCA主要用于简单学习与可视化中数据压缩、简化。但是PCA有一定的局限性，它需要你拥有特定领域的相关知识。对噪音比较多的数据并不适用。

　　算法三：SVD矩阵分解

　　SVD矩阵是一个复杂的实复负数矩阵，给定一个m 行、n列的矩阵M,那么M矩阵可以分解为M = UΣV。U和V是酉矩阵，Σ为对角阵。

PCA实际上就是一个简化版本的SVD分解。在计算机视觉领域，第一个脸部识别算法就是基于PCA与SVD的，用特征对脸部进行特征表示，然后降维、最后进行面部匹配。尽管现在面部识别方法复杂，但是基本原理还是类似的。

算法四：独立成分分析(ICA)

ICA是一门统计技术，用于发现存在于随机变量下的隐性因素。ICA为给观测数据定义了一个生成模型。在这个模型中，其认为数据变量是由隐性变量，经一个混合系统线性混合而成，这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立，称之为可观测数据的独立成分。

　ICA与PCA相关，但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。 

 

---

机器学习算法-十大常用算法_guangmingsky的专栏-CSDN博客_机器学习常用的算法