机器学习综述学习笔记

目录

前言

(一)基本概念

（二）学习系统

一、机器学习的主要策略

1、机械式学习

2、归纳学习

2.1、示例学习(Learning from Examples)

2.2、 观察与发现学习(Learning from Observation & Discovery)

3、类比学习(Learning by Analogy)

4、基于解释的学习(Explamation-Based Learning,EBL)

5、基于神经网络的学习

6、支持向量机(Support Vector Machines,SVMs)

7、基于遗传算法的学习

8、强化学习

9、多智能体协作

二、八种常用算法简介（后续完善）

（一）决策树算法

学习疑问

---

前言

(一)基本概念

机器学习意味着使用计算机模拟人类的学习活动，自动地通过学习获取知识和技能,不断改善性能,实现自我完善。包括有指导学习、无指导学习、半指导学习三种方式。

• 有指导学习意味着针对一组特征值的输入，给定特定的结果输出，其中包括定性的结果、定量的结果，分别对应于统计学中的回归和分类。常见的有指导学习包括:决策树、Boosting与Bagging算法、人工神经网络和支持向量机等。专家系统通常采用有指导学习。

• 在无指导学习中,只能观察特征,没有结果度量。此时只能利用从总体中给出的样本信息对总体作出某些推断以及描述数据是如何组织或聚类的。它并不需要某个目标变量和训练数据集,例如,聚类分析或关联规则分析等。
• 半指导学习则将训练集分为有结果标记和无结果标记的两类，需要解决的是如何利用这些观察量(包括已标识数据和未标识数据)及相关的知识对未标识的观察量的标识做出适当合理的推断。解决这类问题常用方法是采用归纳-演绎式的两步骤路径,即先利用已标识数据去分析并指出适当的一般性的规律,再利用此规律去推断得出有关未标识数据的标识。

当前机器学习围绕三个主要研究方向进行:01.面向任务:在预定的一些任务中,分析和开发学习系统,以便改善完成任务的水平,这是专家系统研究中提出的研究问题;02.认识模拟:主要研究人类学习过程及其计算机的行为模拟,这是从心理学角度研究的问题;03.理论分析研究:从理论上探讨各种可能学习方法的空间和独立于应用领域之外的各种算法。

（二）学习系统

为了使计算机系统具有某种程度的学习能力,使它能通过学习增长知识,改善性能,提高智能水平,需要为它建立相应的学习系统。一个学习系统必须具有适当的学习环境,一定的学习能力,并且能应用学到的知识求解问题,其目的是能提高系统的性能。一个学习系统一般应该由环境、学习、知识库、执行与评价四个基本部分组成。各部分的关系如图1所示。

在图1中,箭头表示信息的流向;环境指外部信息的来源,它将为系统的学习提供有关信息;学习指系统的学习机构,它通过对环境的搜索取得外部信息,然后经过分析、综合、类比、归纳等思维过程获得知识,并将这些知识存入知识库中;知识库用于存储由学习得到的知识,在存储时要进行适当的组织,使它既便于应用又便于维护;执行与评价由执行和评价两个环节组成,执行环节用于处理系统面临的现实问题,即应用学习到的知识求解问题,如定理证明、智能控制、自然语言处理、机器人行动规划等;评价环节用于验证、评价执行环节的效果,如结论的正确性等。另外,从执行到学习必须有反馈信息,学习将根据反馈信息决定是否要从环境中索取进一步的信息进行学习,以修改、完善知识库中的知识。这是学习系统的一个重要特征。

一、机器学习的主要策略

1、机械式学习

机械式学习是基于记忆和检索的方法,学习方法很简单,但学习系统需要几种能力:①能实现有组织的存储信息;②能进行信息结合;③能控制检索方向。对于机械式学习,需要注意三个重要的问题:存储组织信息、环境的稳定性与存储信息的适用性以及存储与计算之间的权衡。机械式学习的学习程序不具有推理能力,只是将所有的信息存入计算机来增加新知识,其实质上是用存储空间换取处理时间,虽然节省了计算时间,但却多占用存储空间。当因学习而积累的知识逐渐增多时,占用的空间就会越来越大,检索的效率也将随之下降。所以,在机械式学习中要全面权衡时间与空间的关系。

2、归纳学习

归纳是指从个别到一般、从部分到整体的一类推论行为。归纳推理是应用归纳方法所进行的推理,即从足够多的事例中归纳出一般性的知识,它是一种从个别到一般的推理。由于在进行归纳时,多数情况下不可能考察全部有关的事例,因而归纳出的结论不能绝对保证它的正确性,只能以某种程度相信它为真,这是归纳推理的一个重要特征。在进行归纳学习时,学习者从所提供的事实或观察到的假设进行归纳推理,获得某个概念。归纳学习也可按其有无教师指导分为示例学习以及观察与发现学习。

2.1、示例学习(Learning from Examples)

示例学习(图2)又称概念获取或从例子中学习,它是通过从环境中取得若干与某概念有关的例子,经归纳得出一般性概念的一种学习方法。在这种学习方法中,外部环境(教师)提供的是一组例子(正例和反例),这些例子实际上是一组特殊的知识,每一个例子表达了仅适用于该例子的知识,示例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识,它将覆盖所有的正例并排除所有反例。

其学习过程是:①从示例空间(环境)中选择合适的训练示例;②经解释归纳出一般性的知识;③再从示例空间中选择更多的示例对它进行验证,直到得到可实用的知识为止。

在示例学习系统中,有两个重要概念: 示例空间和规则空间。示例空间就是我们向系统提供的训练例集合。规则空间是例子空间所潜在的某种事物规律的集合,学习系统应该从大量的训练例中自行总结出这些规律。可以把示例学习看成是选择训练例去指导规则空间的搜索过程,直到搜索出能够准确反映事物本质的规则为止。这就是1974年,Simon和Lea提出的通过示例学习的双空间模型(图3)。

2.2、 观察与发现学习(Learning from Observation & Discovery)

观察与发现学习分为观察学习与机器发现两种。前者用于对事例进行概念聚类,形成概念描述;后者用于发现规律,产生定律或规则。

3、类比学习(Learning by Analogy)

类比学习的基础是类比推理。所谓类比推理,就是指由新情况与记忆中的已知情况在某些方面类似,从而推出它们在其他方面也相似。显然类比推理就是在两个相似域之间进行的:

(1)已经认识的域。它包括过去曾经解决过且与当前问题类似的问题及相关知识,称为源域或者基(类比源),记为S。

(2)当前尚未完全认识的域。它是遇到的新问题,称为目标域,记为T。类比推理的目的就是从S中选出与当前问题最近似的问题以及求解方法来求解当前的问题,或者建立目标域中已有命题间的联系,形成新知识。

当前类比学习模拟的主要困难是基(类比源)的联想,即给定一个目标域,再从无数个错综复杂的结构中找出一个或数个候选的基。在当前实际应用中,基都是由用户给出的,这实际上决定了机器只能重复人们已知的类比,而不能帮助人们学到什么。

4、基于解释的学习(Explamation-Based Learning,EBL)

在进行解释学习时,要向学习系统提供一个实例和完善的领域知识。在分析实例时,首先建立关于该实例是如何满足所学概念定义的一个解释。由这个解释所识别出的实例的特性,被用来作为一般性概念定义的基础;然后通过后继的练习,期待学习系统在练习中能够发现并总结出更一般性的概念和原理。在这个过程中,学习系统必须设法找出实例与练习间的因果关系,并应用实例去处理练习,把结果上升为概念和原理,并存储起来供以后使用。

5、基于神经网络的学习

一个连接模型(神经网络)是由一些简单的类似神经元的单元以及单元间带权的连接组成。每个单元具有一个状态,这个状态是由与这个单元相连接的其他单元的输入决定的。连接学习的目的是区分输入的模式的等价类。连接学习通过使用各类例子来训练网络,产生网络的内部表示,并用来识别其他输入例子。学习主要表现在调整网络中的连接权,这种学习是非符号的,并且具有高度并行分布式处理的能力,近年来获得极大的成功与发展。比较出名的网络模型和学习算法有单层感知器(Perceptron)、Hopfield网络、Boltzmann机和反向传播算法(Back Propagation,BP)。

人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及功能的一种抽象数学模型。一个人工神经网络是由大量神经元节点经广泛互连而组成的复杂网络拓扑,用于模拟人类进行知识和信息表示、存储和计算行为。

人工神经网络学习的工作原理是:一个人工神经网络的工作由学习和使用两个非线性的过程组成。从本质上讲,人工神经网络学习是一种归纳学习,它通过对大量实例的反复运行,经过内部自适应过程不断修改权值分布,将网络稳定在一定的状态下。在神经网络中,大量神经元的互连结构及各连接权值的分布就表示了学习所得到的特定要领和知识,这一点与传统人工智能的符号知识表示法存在很大的不同。在网络的使用过程中,对于特定的输入模式,神经网络通过前向计算,产生一个输出模式,并得到节点代表的逻辑概念,通过对输出信号的比较与分析可以得到特定解。在网络的使用过程中,神经元之间具有一定的冗余性,且允许输入模式偏离学习样本,因此神经网络的计算行为具有良好的并行分布、容错和抗噪能力。

BP神经网络在非线性控制系统中虽被广泛运用,但作为有导师监督的学习算法,要求批量提供输入/输出对对神经网络训练,而在一些并不知道最优策略的系统中,这样的输入/输出对事先并无法得到。另一方面,强化学习从实际系统学习经验来调整策略,并且是一个逐渐逼近最优策略的过程,学习过程中并不需要导师的监督,因此提出了神经网络与强化学习的结合应用。其基本思想是通过强化学习控制策略,经过一定周期的学习后再用学到的知识训练神经网络,以使网络逐步收敛到最优状态。

神经网络已经在很多领域得到了成功的应用,但由于缺乏严密理论体系的指导,在实际应用中,因为缺乏问题的先验知识,往往需要经过大量费力费时的试验摸索才能确定合适的神经网络模型、算法以及参数设置,其应用效果完全取决于使用者的经验。基于此原因,于1990年,Hansen和Salamon开创性地提出了神经网络集成(Neural Network Ensemble)方法。该技术来源于机器学习界目前极热门的Boosting方法,也已成为当前研究的热点。

神经网络的另一大缺陷就是其典型的“黑箱性”,即训练好的神经网络学到的知识难以被人理解,神经网络集成又加深了这一缺陷。从神经网络中抽取规则来表示其中隐含的知识是解决这个问题的一个有效手段。目前,从神经网络中以及从神经网络集成中抽取规则已成为研究的热点。

6、支持向量机(Support Vector Machines,SVMs)

这部分理论没有看明白。。。

7、基于遗传算法的学习

遗传算法是建立在自然选择和群体遗传学机理基础上的随机迭代和进化,具有广泛适用性的搜索方法,具有很强的全局优化搜索能力。它模拟了自然选择和自然遗传过程中发生的繁殖、交配和变异现象,根据适者生存、优胜劣汰的自然法则,利用遗传算子选择、交叉和变异逐代产生优选个体(即候选解),最终搜索到较优的个体。遗传算法本质上是基于自然进化原理提出的一种优化策略,在求解过程中,通过最好解的选择和彼此组合,则可以期望解的集合将会愈来愈好。

遗传算法是一种种群型操作,该操作以种群中的所有个体为对象。具体求解步骤如下:

(1)参数编码。遗传算法一般不直接处理问题空间的参数,而是将待优化的参数集进行编码,一般总是用二进制将参数集编码成由0或1组成的有限长度的字符串。

(2)初始种群的生成。随机地产生 n个个体组成一个群体,该群体代表一些可能解的集合。其任务是从这些群GA体出发,模拟进化过程进行择优汰劣,最后得出优秀的群体和个体,满足优化的要求。

(3)适应度函数的设计。遗传算法在运行中基本上不需要外部信息,只需依据适应度函数来控制种群的更新。根据适应度函数对群体中的每个个体计算其适应度,为群体进化的选择提供依据。设计适应度函数的主要方法是把问题的目标函数转换成合适的适应度函数。

(4)选择复制。按一定概率从群体中选择M对个体,作为双亲用于繁殖后代,产生新的个体加入下一代群体。即适应于生存环境的优良个体将有更多繁殖后代的机会,从而使优良特性得以遗传。选择是遗传算法的关键,它体现了自然界中适者生存的思想。

(5)杂交(交叉)。对于选中的用于繁殖的每一对个体,随机地选择同一整数n,将双亲的基因码链在此位置相互交换。交叉体现了自然界中信息交换的思想。

(6)变异。按一定的概率从群体中选择若干个个体。对于选中的个体,随机选择某一位进行取反操作。变异模拟了生物进化过程中的偶然基因突变现象。对产生的新一代群体进行重新评价、选择、杂交和变异。如此循环往复,使群体中最优个体的适应度和平均适应度不断提高,直至最优个体的适应度达到某一界限或最优个体的适应度和平均适应度值不再提高,则迭代过程收敛,算法结束。GA的搜索能力主要是由选择和杂交赋予的,变异算子则保证了算法能搜索到问题解空间的每一点,从而使算法达到全局最优。

遗传算法尚存在很多问题,其原因是GA自身的一些缺陷:①遗传算法有时计算时间过长，没有有效措施来保证所进行的是全局搜索;②变异可消除基因缺陷,但同时会产生新的基因缺陷,因而如何有效地消除基因缺陷又是一个重要的问题;③进化的终止判定,严格地说,遗传算法的迭代是不能完全收敛的,这样终止判定就成了一个亟待解决而又举足轻重的问题。

8、强化学习

强化学习理论是从动物学习、参数扰动自适应控制等理论发展而来。其基本原理可简述如下:如果Agent（智能体）的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强。强调了学习系统的行为从环境中获得反馈（强化信号），从而改进行动方案以适应环境。

9、多智能体协作

它和传统体系的显著区别在于其自主性、反应性、协作性。自主性是指在没有人的介入下,它可以持续运行,并能控制自身的动作和内部状态;反应性是指它能感知环境,并采取适当的动作改变环境;协作性是指在多Agent环境中协同工作和消解冲突,完成某些互相受益且自身无法独立求解的复杂任务。这也就是说,多Agent系统在运行时,无需环境知识的完备性,并且具有自恢复能力。

二、八种常用算法简介（后续完善）

（一）决策树算法

决策树可看作一个树状预测模型,它通过把实例从根节点排列到某个叶子节点来分类实例,叶子节点即为实例所属的分类。决策树的核心问题是选择分裂属性和决策树的剪枝。决策树的算法有很多,有ID3、C4.5、CART等等。这些算法均采用自顶向下的贪婪算法,每个节点选择分类效果最好的属性将节点分裂为2个或多个子结点,继续这一过程直到这棵树能准确地分类训练集,或所有属性都已被使用过。

决策树的生成是一个递归的过程。在决策树基本算法中，有三种情形会导致递归返回：（1）当前节点包含的样本全属于同一类别，无需划分；（2）当前属性集为空，或是所有样本在所有属性上取值相同。属性的不同是每个节点分裂的依据。（3）当前节点包含的样本集合为空，不能划分。

学习疑问

我们在观看文献综述时，是否需要关注每个算法的公式等实现细节？