机器学习概述

 

学习的概念

 

心理学中对学习的解释是：学习是指（人或动物）依靠经验的获得而使行为持久变化的过程。

 

Simon认为：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。

 

Minsky认为：学习是在人们头脑中（心理内部）进行有用的变化。

 

当前关于机器学习的许多文献中也大都认为：学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。

 

机器学习的概念

 

机器学习是定义在学习之上，从直观上理解，机器学习是研究机器模拟人类的学习活动，获取知识和技能的理论和方法，改善系统性能的学科。

 

要使计算机有学习能力，就是让计算机能够通过学习增长知识、改进性能、提高智能水平，就需要为它建立学习系统。

 

学习系统的概念

 

学习系统是指能够在一定程度上实现机器学习的系统。

 

1973年萨利斯曾对学习系统给出如下定义：如果一个系统能够从某个过程或环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策或控制，以便改进系统的性能，那么它就是学习系统。

 

1977年施密斯等人又给出了一个类似的定义：如果一个系统在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能，那么这样的系统就是学习系统。

 

学习系统的基本要求：

 

具有适当的学习环境：学习系统中环境并非指通常的物理条件，而是指学习系统进行学习时所必需的信息来源。

具有一定的学习能力：一个好的学习方法和一定的学习能力是取得理想的学习效果的重要手段。所以，学习系统应模拟人的学习过程，使系统通过与环境反复多次相互作用，逐步学到有关知识，并且要使系统在学习过程中通过实践验证、评价所学知识的正确性。

能用所学的知识解决问题：学习的目的在于应用，学习系统能把学到的信息用于对未来的估计、分类、决策和控制。

能通过学习提高系统的性能：通过提高系统的性能是学习系统最终目标。通过学习，系统随之增长知识，提高解决问题的能力，使之能完成原来不能完成的任务，或者比原来做得更好。

学习系统的基本模型

 

由此看来：学习系统至少应有环境、知识库、学习环节和执行环节四个基本部分。一种典型的学习系统如下图所示，环境向系统的学习部件提供某些信息，学习环节利用这些信息修改知识库，增进执行部件的效能；执行环节根据知识库完成任务，同时把获得的信息反馈给学习部件。

 

机器学习的发展简史

 

神经元模型研究阶段：这个时期主要技术是神经元模型以及基于该模型的决策论和控制论；机器学习方法通过监督学习来实现神经元间连接权的自适应调整，产生线性的模式分类和联想记忆能力。具有代表性的工作感知机制，模拟神经元的理论和生物进化过程的研究。

符号概念获取研究阶段：60年代初期，机器学习的研究进入了第二阶段，在这个阶段，心理学和人类学习的模拟占有主导地位，其特点是使用符号而不是数值表示来研究学习问题，其目标是用学习来表达高级知识的符号描述。在这一观点的影响下，主要技术是概念获取和各种模式识别系统的应用；研究人员一方面深入探讨学习的简单概念，另一方面则把大量的领域知识并入学习系统，以便它们发现高深的概念。这个阶段代表性的工作是温斯顿的基于示例归纳的结构化概念学习系统。

基于知识的各种学习系统研究阶段：机器学习发展的第三个阶段始于70年代中期，这个阶段不再局限于构造概念学习系统和获取上下文知识，结合问题求解中的学习、概念聚类、类比推理及机器发现的工作。相应的有关学习方法相继推出，比如示例学习、示教学习、观察和发现学习、类比学习、基于解释的学习。工作特点强调应用面向任务的知识和指导学习过程的约束，应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统的注意力等。

联结学习和符号学习共同发展阶段：80年代后期以来，形成了联结学习和符号学习共同发展的第四个阶段。在这个时期，发现了用隐单元来计算和学习非线性函数的方法，从而克服了早期神经元模型的局限性，同时，由于计算机硬件的迅速发展，使得神经网络的物理实现变成可能，在声音识别、图像处理等领域，神经网络取得了很大的成功。在这个时期，符号学习伴随人工智能的进展也日益成熟，应用领域不断扩大，最杰出的工作有分析学习、遗传算法、决策树归纳等。现在基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发，将机器学习的研究推向新的高度。