机器学习的分类

什么是机器学习？

更新时间：2021-03-10 15:51:20标签：机器学习 简介

说明

机器学习教程 正在计划编写中，欢迎大家加微信 sinbam 提供意见、建议、纠错、催更。

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。

发展

汤姆·米歇尔教授任职于卡内基梅陇大学计算机学院、机器学习系，根据他在《机器学习》一书中的定义，机器学习是“研究如何打造可以根据经验自动改善的计算机程序”。机器学习在本质上来说是跨学科的，使用了计算机科学、统计学和人工智能以及其他学科的知识。机器学习研究的主要产物是算法，可以帮助基于经验的自动改善。这些算法可以在各个行业有广泛应用，包括计算机视觉、人工智能和数据挖掘。

机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。

应用

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。

机器学习的分类

更新时间：2021-03-12 11:02:18标签：机器学习 分类

说明

机器学习教程 正在计划编写中，欢迎大家加微信 sinbam 提供意见、建议、纠错、催更。

根据训练期间接受的监督数量和监督类型，可以将机器学习分为以下四种类型：监督学习、非监督学习、半监督学习和强化学习。

监督学习

监督学习（Supervised Learning，SL），这类算法的工作原理是使用带标签的训练数据来学习输入变量Image转化为输出变量Image的映射函数，换句话说就是求解方程Image中的Image。进一步地，监督学习又可细分为如下三类：

• 回归（Regression）：预测一个值，如预测降雨量、房价等，较基础的算法有：Linear Regression
• 分类（Classification）：预测一个标签，如预测“生病”或“健康”，图片上是哪种动物等，较基础的算法有：Logistic Regression、Naive Bayes、K-Nearest Neighbors（KNN）
• 【另】：集成（Ensembling）也可以归类为监督学习的一种，它将多个单独较弱的机器学习模型的预测结合起来，以产生更准确的预测，较基础的算法有Bagging with Random Forests、Boosting with XGBoost

常用的算法有：

• K近邻算法
• 线性回归
• logistic回归
• 支持向量机（SVM）
• 决策树和随机森林
• 神经网络

非监督学习

非监督学习（Unsupervised Learning，UL），这类算法的工作原理是从无标签的训练数据中学习数据的底层结构。进一步地，非监督学习又可细分为如下三类：

• 关联（Association）：发现集合中项目同时出现的概率，如通过分析超市购物篮，发现啤酒总是和尿片一起购买（啤酒与尿片的故事），较基础的算法有：Apriori
• 聚类（Clustering）：对数据进行分组，以便组内对象比组间对象更相似，较基础的算法有：K-Means
• 降维（Dimensionality Reduction）：减少数据集的变量数量，同时保证重要的信息不被丢失。降维可以通过特征提取方法和特征选择方法来实现，特征提取是执行从高维空间到低维空间的转换，特征选择是选择原始变量的子集，较基础的算法有：PCA

无监督学习的常见算法如下：

• 聚类算法
  • K均值算法（K-means）
  • 基于密度的聚类方法(DBSCAN)
  • 最大期望算法
• 可视化和降维
  • 主成分分析
  • 核主成分分析
• 关联规则学习
  • Apriori
  • Eclat

半监督学习

有些算法可以处理部分标记的训练数据，通常是大量未标记的数据和少量标记的数据，这种成为半监督学习。

如照片识别就是很好的例子。在线相册可以指定识别同一个人的照片（无监督学习），当你把这些同一个人增加一个标签的后，新的有同一个人的照片就自动帮你加上标签了。

大多数半监督学习算法都是无监督和监督算法的结合。例如深度信念网络（DBN）基于一种相互堆叠的无监督式组件。

强化学习

强化学习（Reinforcement Learning，DL），让agent根据当前环境状态，通过学习能够获得最大回报的行为来决定下一步的最佳行为。

参考

• https://mp.weixin.qq.com/s/nArchfGhWW9P5cC98aqxQA
• https://mp.weixin.qq.com/s/XZ_-xtUb4SwQUpWeffdJ5g