机器学习算法入门讲解和总结~

点击上方“码农的后花园”，选择“星标” 公众号

精选文章，第一时间送达

机器学习算法有很多，有分类、回归、聚类、推荐、图像识别领域等等，具体算法比如线性回归、逻辑回归、朴素贝叶斯、随机森林、支持向量机、神经网络等。

机器学习算法分类

机器学习算法可以按照学习方式和学习任务目标进行对算法进行分类。

按照学习方式分类

监督学习	Supervised Learning	训练数据有标注，训练后进行预测
非监督学习	Unsupervised Learning	训练数据没有标注，对数据进行聚类
半监督学习	Semi-supervised Learning	训练集同时包含有标记样本数据和未标记样本数据
强化学习	Reinforcement Learning	智能体与环境进行交互，以"试错"方式进行学习

在机器学习中，无监督学习就是聚类，事先不知道样本的类别，通过某种办法，把相似的样本放在一起归位一类；而监督型学习就是有训练样本，带有属性标签，也可以理解成样本有输入有输出。

有监督学习必须要有训练集和测试样本，在训练集中找规律，而对测试样本使用在训练集中找到的规律进行预测。无监督学习，没有训练集，只有一组数据，预先没有什么标签，若数据集中的样本呈现某种聚集性，则可按自然的聚集性分类，没有预先分类标签。

按照学习任务分类

分类	Classification	定性输出，离散变量预测，属于监督学习
回归	Regression	定量输出，连续变量预测，属于监督学习
聚类	Clustering	据样本间的相似性对样本集进行聚类，无监督学习

无监督学习和监督学习中的常用的算法如下，分类中常用到的算法有k近邻算法KNN、支持向量机SVC(Support Vector Classification)、朴素贝叶斯Naive-Bayesian、决策树DecisionTreeClassifier、随机森林RandomForest 、逻辑回归。

回归中常用到的算法有岭回归Riddfe Regression、支持向量机SVR（Support Vector Regression）、决策树DecisionTreeRegressor、随机森林回归RandomForestRegressor。

在机器学习算法中，没有最好的算法，只有“更适合”解决当前任务的算法。

 K-近邻算法（k-Nearest Neighbors，KNN）（分类）

K-近邻是一种分类算法，其思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

支持向量机SVM（可分类，可回归）

在 支持向量机SVM(Support Vector Machine) 中，选择一个超平面，它能最好地将输入变量空间划分为不同的类，要么是 0，要么是 1。在 2 维情况下，可以将它看做一根线。

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示，

即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。

用于分类回归的支持向量机SVC(Support Vector Classification)

朴素贝叶斯（Naive Bayesian）（分类）

贝叶斯公式

换个公式理解：

举例: 如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

线性回归算法 Linear Regression（回归）

线性回归就是根据已知数据集求一线性函数，使其尽可能拟合数据，让损失函数最小，常用的线性回归最优法有最小二乘法：

和梯度下降法。

线性回归又分为两种类型，即: 简单线性回归（simple linear regression)，只有 1 个自变量；多变量回归（multiple regression)，至少两组以上自变量。

岭回归（也称为 Tikhonov 正则化）是线性回归的正则化版：在损失函数上直接加上一个正则项

Lasso 回归（也称 Least Absolute Shrinkage，或者 Selection Operator Regression）是另一种正则化版的线性回归：就像岭回归那样，它也在损失函数上添加了一个正则化项，但是它使用权重向量的范数而不是权重向量范数平方的一半。

逻辑回归（Logistic Regression）（分类）

逻辑回归是一种非线性回归模型，相比于线性回归，它多了一个sigmoid函数（或称为Logistic函数）。Sigmoid 函数（S 函数）是一种具有 S 形曲线，逻辑回归是一种分类算法，主要用于二分类问题。

逻辑回归算法一般用于需要明确输出的场景，如某些事件的发生（预测是否会发生降雨）。Logistic 回归模型可以直接推广到多类别分类，不必组合和训练多个二分类器， 其称为 Softmax 回归或多类别 Logistic 回归。

决策树（Decision Trees:分类DecisionTreeClassifier、回归DecisionTreeRegressor）

决策树是一种基本的分类与回归方法，其模型就像一棵树来表示我们的决策过程，这棵树可以是二叉树（比如CART 只能是二叉树），也可以是多叉树（比如 ID3、C4.5 可以是多叉树或二叉树）。

如下图所示：根节点包含整个样本集，每个叶节点都对应一个决策结果（注意，不同的叶节点可能对应同一个决策结果），每一个内部节点都对应一次决策过程或者说是一次属性测试。从根节点到每个叶节点的路径对应一个判定测试序列。

 

参考:

https://zhuanlan.zhihu.com/p/31886934

https://zhuanlan.zhihu.com/p/26262151

https://www.cnblogs.com/qiuyuyu/p/11399697.html

                                                     分享给更多朋友，转发，点赞，在看