机器学习发展历程及其分类综述

最新推荐文章于 2024-11-12 15:37:00 发布

wodertianna

最新推荐文章于 2024-11-12 15:37:00 发布

阅读量2.4k

点赞数 18

文章标签：机器学习

本文链接：https://blog.csdn.net/wodertianna/article/details/138421942

版权

1 机器学习的概念

1.1学习的概念

学习是一个人们习以为常的概念，但究竟什么是学习，至今仍无一个统一的定义。在各种不同的学习观点中，影响最大的有以下几种：

（1）西蒙（Simon，1983 年）认为，学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。

（2）明斯基（Minsky，1985 年）认为，学习是在人们头脑里（心理内部）有用的变化。

（3）米哈尔斯基（Michalski，1986 年）认为，学习是对经历描述的建立和修改[1]。这些观点虽然不尽相同，但却都包含了知识获取和能力改善这两个主要方面。

1.2机器学习的概念

机器学习是定义在学习之上的，由于对学习目前尚无严格定义，因此对机器学习也不可能给出一个严格的定义。从直观上理解，机器学习就是让机器（计算机）来模拟人类的学习功能，它是一门研究怎样用机器来模拟或实现人类学习活动的一门学科。它是人工智能中最具有智能特征的前沿研究领域之一。

最早的机器学习算法可以追溯到20世纪初，到今天为止，已经过去了100多年。总体上，机器学习算法可以分为有监督学习、无监督学习、半监督学习、强化学习4种类型。

2 国内外研究成果

2.1国内研究成果：

近年来，国内对有关机器学习的研究发展较快，主要表现在以下几个方面。

1. 泛化能力的研究

机器学习所关注的一个根本问题是如何提高学习系统的泛化能力，或也就是机器在数据中发现的模式怎样才能具有良好的推广能力。南京大学周志华教授长期从事人工智能中机器学习、数据挖掘、模式识别等方面的研究，他的研究组在集成学习领域进行了深入研究，并设计出有效的选择性集成算法[2]。理想的学习方法不仅要有强的泛化能力，还要有好的可理解性。周志华等人提出了二次学习的思想，将集成学习用作预处理，设计出泛化能力强、可理解性好的新型规则学习方法C4.5Rule-PANE，引起著名学者Sharkey的重视[3]。

2. 机器学习技术在数据挖掘中的商业应用

数据库中的知识发现，是近年来随着数据库和人工智能技术的发展而出现的新兴研究领域，它主要是利用机器学习的方法从数据库中提取出有用的知识。数据挖掘是20世纪80 年代投资人工智能研究项目失败后，人工智能转入实际应用时提出的，它是一个新兴的、面向商业应用的交叉学科。数据挖掘的主要方法为统计学方法和机器学习方法。在数据挖掘领域，机器学习方法以其强大的处理不同类型数据的能力和商业应用的巨大潜力，受到该领域学术界和商业界越来越多的重视[4]。

3. 人工智能原理在人类学习中的应用

人类认知活动的最高层次是思维策略，中间一层是初级信息处理，最底层是生理过程，即中枢神经系统、神经元和大脑的活动;与此相对应的是计算机的程序、计算机语言和硬件。研究认知过程的主要任务是探求高层思维决策与初级信息处理的关系，应用计算机程序模拟人的思维策略水平，用计算机语言模拟人的初级信息处理过程。计算机也用类似的原理进行工作。在规定时间内，计算机存储的记忆相当于机体的状态，计算机的输入相当于机体施加的某种刺激。在得到输入后，计算机便进行操作，使其内部状态发生变化，由此产生了机器学习理论[5]。

2.2国外研究成果：

1.搜索引擎Google的成功,使得Internet搜索引擎成为新兴产业

除了现有的众多专营搜索引擎的公司( 如专门针对中文搜索的就有慧聪、百度等) ，Microsoft 等巨头也开始投入巨资进行搜索引擎的研发。Google掘到的第一桶金，来源于其创始人Larry Page和Sergey Brin提出的PageRank算法。机器学习技术正在支撑着各类搜索引擎(尤其是贝叶斯学习技术) [6]。

2. 基于机器学习的入侵检测技术

传统的入侵检测系统IDS存在大量的问题: 对未知网络攻击的检测能力差，误报率高，占用资源多;对攻击数据的关联和分析功能不足，导致过多的人工参与;对于现在广泛使用的脚本攻击防御能力差等。为了在现代高带宽、大规模网络环境下提高入侵检测的效率，降低漏报率和误报率，将机器学习方法引入到IDS 中来并采用先进的分布式体系结构，已成为IDS的重要发展方向[7]。

3 理论发展动态

机器学习是人工智能领域中较为年轻的分支，其发展过程可分为4 个时期:

1)20 世纪50 年代中期到60 年代中期，属于热烈时期;这一时期产生了最早的人工神经网络，赫布学习规则，图灵测试等一系列标志性事件，也标志着机器学习这一概念的诞生；

2)60 年代中期至70 年代中期，被称为机器学习的冷静时期；这一时期机器学习的理论研究相对超前，产生了 KNN 最邻近算法（the Nearest Neighbor Algorithm），决策树算法，BP 和 MLP 神经网络算法等，但相比理论研究，计算机硬件的发展则相对缓慢，不能很好地将理论研究转化为实际应用，在一定程度上限制了机器学习的发展；

3)70 年代中期至80 年代中期，称为复兴时期，这一时期，出现了自训练(Self-Training)、直推学习(Transductive Learning)、生成式模型(Generative Model)等学习方法。

4)1986 年开始是机器学习的最新阶段，随着计算机硬件性能的飞速发展，计算机运算速度在集成电路不断发展的助推下，有了质的飞跃。互联网产业的崛起则为机器学习插上了新的翅膀，大量的数据为机器学习的分析研究提供了理论基础。这一时期，涌现了 Boosting 算法、SVM 向量机算法、随机森林算法、深度学习（Deep Leaning）等，而深蓝人机国际象棋大赛和AlphaGo人机围棋大战的出现，使得人们对机器学习有了更加清晰的认识，机器学习自此走出了瓶颈期，迈上了新的发展阶段。

4 机器学习的分类

4.1 监督学习

监督学习，又称为又教师学习，可以理解为有教师教机器的学习过程，说的专业点就是有数据标签，“标签”就是教师，监督学习输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数[8]。监督学习主要包括分类和回归。当输出被限制为有限的一组值（离散数值）时使用分类算法；当输出可以具有范围内的任何数值（连续数值）时使用回归算法。相似度学习是与分类和回归都密切相关的一类监督机器学习，它的目标是使用相似性函数从样本中学习，这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面有很好的应用场景。

4.2无监督学习

无监督学习，就是自己学自己的，自己归纳数据中的知识，没有老师教，没有数据标签。输入数据中无老师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等[8]。

4.2.1聚类分析

聚类分析的早期研究始于 60 年前——K-means算法的出现，它最初在1955年由Steinhaus提出，随后Stuart Lloyd 在 1957 年提出K-均值聚类算法。随后其一直受到青睐，并延伸出了凝聚分层算法（agglomerative hierarchical algorithm）和基于密度的空间聚类（Density-Based Spatial Clustering of Applications with Noise/DBSCAN）等。主成分分析（PCA）则由卡尔·皮尔逊于1901年发明，用于分析数据及建立数理模型。1930s由哈罗德·霍特林演进并命名。这也是一种十分成熟并且常用的无监督算法。

4.2.2数据降维

数据降维在机器学习领域没有出现太多重量级的成果。直到1998年，核PCA作为非线性降维算法的出现。这是核技术的又一次登台，与PCA的结合将PCA改造成了非线性的降维算法。

4.3半监督学习

半监督学习，有的数据有标签，有的数据没有标签。顾名思义，半监督学习（Semi-Supervised Learning， SSL）便是介于前两者之间的学习范式，具体表现为当可供分析的样本数据总量充足，但有标签数据占比极低时，研究人员并不能通过监督学习构建起一个能够正确映射、分析能力强的学习器，若选择将占比较大的无标签数据通过人工或专家信息给出正确标注，则会耗费过多的资源，同时影响到正在进行的任务的时效性，得不偿失，此时便可以采用折中方案，即在利用有限的有标签数据建立相关映射的基础之上，充分挖掘大量无标签数据所蕴含的特征分布，以此来弥补有标签数据数量的缺失，以达成在不借助外界资源的条件下建立学习器的目标[9]。

4.4强化学习

强化学习，算法根据当前的环境状态确定一个动作来执行，然后进入下一个状态，如此反复，目标是让得到的收益最大化。如围棋游戏就是典型的强化学习问题，在每个时刻，要根据当前的棋局决定在什么地方落棋，然后进行下一个状态，反复的放置棋子，直到赢得或者输掉比赛。这里的目标是尽可能的赢得比赛，以获得最大化的奖励。强化学习在机器学习领域的起步更晚。虽然早在1980年代就出现了时序差分算法[10]，但对于很多实际问题，我们无法用表格的形式列举出所有的状态和动作，因此这些抽象的算法无法大规模实用。

神经网络与强化学习的结合，即深度强化学习，才为强化学习带来了真正的机会。在这里，深度神经网络被用于拟合动作价值函数即Q函数，或者直接拟合策略函数，这使得我们可以处理各种复杂的状态和环境，在围棋、游戏、机器人控制等问题上真正得到应用[11]。神经网络可以直接根据游戏画面，自动驾驶汽车的摄像机传来的图像，当前的围棋棋局，预测出需要执行的动作。其典型的代表是DQN这样的用深度神经网络拟合动作价值函数的算法，以及直接优化策略函数的算法。