人工智能导论

1.1人工智能的起源和定义

现代人工智能的起源公认是1956年的达特茅斯会议。达特茅斯会议的最主要成就是使人工智能成了一个独立的研究学科。

但目前最常见的AI定义有两个：一个是明斯基提出的，即“人工智能是一门科学，是使机器做那些人需要通过智能来做的事情”；另一个更专业一些的定义是尼尔森给出的，即“人共智能是关于知识的科学”，所谓“知识的科学”就是研究知识的表示、知识的获取和知识的运用。

1.2人工智能的流派

知识的基本单位是概念，知识本身也是一个概念

人工智能的问题转化为：如何定义一个概念，如何学习一个概念，如何应用一个概念。

经典概念的定义：概念的符号表示（概念的全称，简称概念名）；概念的内涵表示，由命题来表示，命题就是能判断真假的陈述句；概念的外延表示，由经典集合来表示，用来说明与概念对应的实际对象。

概念的三个功能：指物功能，指心功能，指名功能

专注于实现AI指名功能的人工智能流派称为符号主义；专注于实现AI指心功能的人工智能流派称为连接主义；专注于实现AI指物功能的人工智能流派称为行为主义。符号主义实现指名功能，联结主义实现指心功能，行为主义实现指物功能。

图灵测试要解决的问题就是如何判断一台机器是否具有智能。

概念的外延表示由概念指称的具体实例组成，是一个由满足概念的内涵表示的 对象构成的经典集合。概念的外延表示外部可观可测。

第一次寒冬：早期人工智能的研究资金是由政府及军方提供的，但是由于远远无法达到预期，最终停止了对这方面的投入。
第二次寒冬：由于LISP机市场崩塌，专家系统的进展缓慢，人工智能进入了第二个寒冬期。
人工智能的三次发展：
第一次浪潮（1956-1974年）：AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起，人们对AI的未来充满了想象，人工智能迎来第一次发展浪潮。这一阶段，人工智能主要用于解决代数、几何问题，以及学习和使用英语程序，研发主要围绕机器的逻辑推理能力展开。
第二次浪潮（1980-1987年）：专家系统使得人工智能实用化。最早的专家系统是1968年由费根鲍姆研发的DENDRAL系统，可以帮助化学家判断某特定物质的分子结构；DENDRAL首次对知识库提出定义，也为第二次AI发展浪潮埋下伏笔。20世纪80年代起，特定领域的“专家系统”AI程序被更广泛的采纳，该系统能够根据领域内的专业知识，推理出专业问题的答案，AI也由此变得更加“实用”，专家系统所依赖的知识库系统和知识工程成为了当时主要的研究方向。
第三次浪潮（1993年至今）：深度学习助力感知智能步入成熟。不断提高的计算机算力加速了人工智能技术的迭代，也推动感知智能进入成熟阶段，AI与多个应用场景结合落地、产业焕发新生机。

2.2数理逻辑

作为命题，其对应真假的判断结果称为命题的真值

真值为真的命题称为真命题，真值为假的命题称为假命 题

不能分解为更简单命题的命题称为简单命题或者原子命题

通过连结词联结而成的命题，称为复合命题，用简单命题和逻辑词进行符号化。

常见的逻辑联结词有五个——否定联结词、合取联结词、析取联结词、蕴涵联结词、等价联结词。

第三章

1. 知识表示的概念

把有关信息关联在一起所形成的信息结构称为知识。

知识主要具有相对正确性、不确定性、可表示性与可利用性等特性。

造成知识具有不确定性的原因主要有随机性、模糊性、经验性、不完全性。

知识表示就是将人类知识形式化或模型化，目的是让计算机存储和运用人类的知识。

1. 产生式表示法

产生式通常用于表示事实、规则以及它们的不确定性度量。

产生式不仅可以表示确定性规则，还可以表示各种操作、规则、变换、算子、 函数等；不仅可以表示确定性知识，而且还可以表示不确定性知识。

一个产生式系统由规则库、综合数据库、推理机三部分组成。产生式系统求解 问题的过程是一个不断地从规则库中选择可用规则与综合数据库中的已知事实进行 匹配的过程，规则的每一次成功匹配都使综合数据库增加了新内容，并朝着问题的 解决方向前进了一步。这一过程称为推理，是专家系统中的核心内容。

综合数据库存放问题的初始状态，原始证据，推理中得到的中间结论及最终结论等信息。

推理机由一组程序组成，可以进行推理，冲突消解，执行规则，检查推理终止条件。

1. 框架表示法

框架是一种描述所论对象（一个事物、事件或概念）属性的数据结构。

一个框架由若干个被称为“槽”的结构组成，每一个槽又可根据实际情况划分 为若干个“侧面”。一个槽用于描述所论对象某一方面的属性。一个侧面用于描述 相应属性的一个方面槽和侧面所具有的属性值分别被称为槽值和侧面值

1. 状态空间表示方法

状态空间是利用状态变量和操作符号表示系统或问题的有关知识的符号体系, 状态空间是一个四元组（S, O, S。，G）o

从S。结点到G结点的路径被称为求解路径。状态空间的一个解是一个有限的 操作算子序列，它使初始状态转换为目标状态。

状态空间有向图的节点表示问题的状态，图的弧表示状态之间的关系。

第四章

4.1知识图谱旨在以结构化的形式描述客观世界中存在的概念、实体及其间的复杂关系。（强大的关系搜索和推理能力）

概念是指人们在认识世界过程中形成的对客观事物的概念化表示，关系描述概念，实体之间客观存在的关联

知识卡片为用户提供更多与搜索内容相关的信息，还可以展示实体间的信息

4.2.1本体定义

本体有如下四个特性：

(1)概念化：本体是对客观世界中存在事物或现象以及它们之间关系的概念化抽象；        “

1. 精确性：本体中的概念、关系以及各种约束被精确地定义；
2. 形式化：本体表示是为了方便人机交互和计算机推理，因此其定义是形式化且机器可理解和推理计算的；

（4）共享性：本体的表示要建立在领域内的共同认知基础上，可以有效促进知识共享。

4.2.2本体的组成

本体一般由概念(concept )、实例(instance )和关系 (relation )三个部分组成，此外还有一些本体包含公理(axiom )o

概念，也称为类，是某一领域内相同性质对象集合的抽象表示形式。

实例是概念中的特定元素，往往对应客观世界的具体事物。

关系，也称属性，是指概念与概念或概念与实例间的关系类型。

公理描述领域内总是成立(为真)的陈述，是对所定义领域规则的描述。

万维网以文本和超链接描述信息

4.3.1 语义万维网概念

语义Web与万维网的主要区别在于：在网络的图结构方面，万维 网是关于网页链接的图结构，节点是网页，网页内容是动态的、面向人理解的内容; 而在语义Web中，网络结构是万维网上内容的结构化表示，不仅人可以理解，也 可同步发布机器可以处理和理解的内容，通过规范和链接实现数据集成。

4.3.2万维网知识描述语言

1. 可扩展标记语言XML

可扩展标记语言(extensible markup language, XML )是一种使用标签来组织互 联网信息内容的标记语言。

XML包含标签、元素、属性三种基本概念。

标签用于标识一段数据，被标签包围的数据称为元素，属性用来为元素提供额外的信息

1. 资源描述框架RDF与链接数据：RDF数据模型的三个概念是资源，属性和陈述

3.网络本体语言OWL

网络本体语言(web ontology language )进一步增强了 RDF的语义表达能力，是 W3C标准定义的基于描述逻辑(description logic )的本体语言。

在属性刻画方面，RDF使用定义域(domain)和值域(range )来表示该属性适 用的类和取值范围，将属性与类关联；

(1 )对称性

(2 )传递性

（3）函数性：

（4 ）可逆性

（5）反函数性

此外，OWL还可以定义属性的值约束和基数约束，在一定程度上确保其推理 的正确性。

知识图谱的生命周期为知识建模，知识获取，知识集成，知识共享与应用

知识在数据中的分布特点：多媒体性，隐蔽性，分布性，异构性，海量性

知识建模是定义领域知识描述的概念，事件，规则及其相互关系的知识表示方法，建立知识图谱的概念模型

知识获取是对知识建模定义的知识要素进行实例化的过程

知识管理主要研究知识图谱的存储和索引，方便快速访问和查询

知识赋能：知识图谱最初提出的目的是增强搜索结果，改善用户搜索体验，即语义搜索

知识图谱技术是人工智能知识表示和知识库在互联网环境下的大规模应用，显示出知识在智能系统中的重要性，是实现智能系统的基础知识资源。纵观知识图谱发展的相关研究现状，以下研究将成为未来知识图谱研究的热点：①研究知识表示和获取的新理论和新方法，使知识既具有显式的语义定义，又便于大数据下的知识计算；②随着信息技术从信息服务向知识服务转变，研究建立知识图谱构建的平台，以服务不同的行业和应用；③知识图谱虽然已经在语义搜索和知识问答等应用中展示出一定的成效，但是基于知识图谱的应用研究远不止这些，如何进一步推进知识驱动的智能信息处理应用是十分有价值的研究。

第五章

在选择节点时利用了与问题相关的知识或者启发信息，称为启发式搜索，否则为盲目搜索

盲目搜索

如果在搜索过程中没有利用任何与问题有关的知识或者启发信息，则称之为盲目搜索。深度优先搜索和宽度优先搜索是常用的两种盲目搜索方法。

深度优先搜索

深度优先搜索是一种常用的盲目搜索策略，其基本思想是优先扩展深度最深的

节点。

策略：深度优先搜索每次选择一个深度最深的节点进行扩展，如果有相同深度的多个节点，则按照事先的约定从中选择一个。如果该节点没有子节点，则选择一个除了该节点以外的深度最深的节点进行扩展。依次进行下去，直到找到问题的解结束;或者再也没有节点可扩展结束，这种情况下表示没有找到问题的解。

宽度优先搜索

与深度优先策略刚好相反，宽度优先搜索策略是优先搜索深度浅的节点，即每次选择深度最浅的呈节点进行扩展，如果有深度相同的节点，则按照事先约定从深度最浅的几个节点中选择一个。

启发式搜索

如何在搜索过程中引入启发信息,减少搜索范围，以便尽快地找到解，这种搜索策略则称为启发式搜索。

A算法

评价函数的定义: f(n)=g(n)+h(n)

其中n为待评价的节点;

g(n)为从初始节点s到节点n的最佳路径耗散值的估计值;

h(n)为从节点n到目标节点t的最佳路径耗散值的估计值，称为启发函数;

f(n)为从初始节点s经过节点n到达目标节点t的最佳路径耗散值的估计值，称为评价函数。

A算法和A*算法的区别

在A算法中，由于并没有对局发函数做出任何规定，所以A算法得到的结果如何也不好评定。如果启发函数h(n)满足如下条件:h(n)小于等于（数学符号）h*(n)则可以证明当问题有和解时，A算法一定可以得到一个耗散值最小的结果，也即最佳解。满足该条件的A算法称作A*算法。

α-β剪枝算法。

该算法的基本思想是利用已经搜索过的状态对搜索进行剪枝，以提高搜索效率

蒙特卡洛树搜索方法的四个过程:

选择:以当前棋局为根节点，自上而下地选择一个落子点;

扩展:向选定的节点添加一个或多个子节点;

模拟:对扩展出的节点用蒙特卡洛方法进行模拟;

回传:根据模拟结果依次向上更新祖先节点的估计值；

第六章

这些在由简单个体组成的群落与环境以及个体之间的互动行为称作“群智能” 。 受动物群体智能启发的算法称为群智能(swarm intelligence, SI)算法。

6.2.1遗传算法的基本思想

对于自然界中生物遗传与进化机理的模仿，长期以来人们针对不同问题设计了 许多不同的编码方法来表示问题的可行解，产生了多种不同的遗传算子来模仿不同 环境下的生物遗传特性。这样，由不同的编码方法和不同的遗传算子就构成了各种 不同的遗传算法。但这些遗传算法都具有共同的特点，即通过对生物遗传和进化过 程中选择、交叉、变异机理的模仿来完成对问题最优解的自适应搜索过程。基于这 个共同的特点，Goldberg总结出基本遗传算法(simple genetic algorithms, SGA ),该 算法只使用选择算子、交叉算子和变异算子三种基本遗传算子，遗传进化操作过程 简单、容易理解，给各种遗传算法提供了一个基本框架。基本遗传算法所描述的框 架也是进化算法的基本框架。

进化算法类似于生物进化，需要经过长时间的成长演化最后收敛到最优化问题 的一个或者多个解。因此，了解生物进化过程有助于理解遗传算法等进化算法的工作过程。

“适者生存”揭示了大自然生物进化过程中的一个规律，即最适合自然环境的 个体生存产生后代的可能性大。

图6.1生物进化的基本过程

个循环圈，而另一部分则进入种群。竞争过程遵循生物进化中“适者生存，优胜劣 汰”的基本规律，所以都有一个竞争标准或者生物适应环境的评价标准。需要说明 的是，适应程度高的个体只是进入种群的可能性比较大，但并不一定进入种群；而 适应程度低的个体只是进入种群的可能性比较小，但并不一定被淘汰。这一重要特 性保证了种群的多样性。

遗传算法处理的是染色体。在遗传算法中，染色体对应的是数据或数组，通常 用一维的串结构数据来表示。一定数量的个体组成了群体。群体中个体的数量称为 种群的规模。各个个体对环境的适应程度叫适应度。适应度大的个体被选择进行遗 传操作产生新个体的可能性大，体现了生物遗传中适者生存的原理。选择两个染色 体进行交叉产生一组新的染色体的过程，类似生物遗传中的婚配。编码的某一个分 量发生变化，类似生物遗传中的变异。

遗传算法包含五个基本要素，即参数编码、初始群体的设定、适应度函数的设 计、遗传操作设计和控制参数设定。

群体中个体的数量称为种群规模。

群体设定：初始种群的产生和种群规模的确定

编码方法：二进制编码和实数编码

欺骗问题：在遗传算法中，将所有妨碍的适应值高的个体产生，从而影响遗传算法正常工作的问题统称欺骗问题。

选择操作也称复制(reproduction )操作，是从当前群体中按照一定概率选出优 良的个体，使它们有机会作为父代繁殖下一代子孙。判断个体优良与否的准则是各 个个体的适应度值。显然这一操作借用了达尔文适者生存的进化原则，即个体适应 度越高，其被选择的机会越大。

需要注意的是，如果总挑选最好的个体，遗传算法就变成了确定性优化方法, 使种群过快地收敛到局部最优解；如果只作随机选择，则遗传算法就变成完全随机 方法，需要很长时间才能收敛甚至不收敛。因此，选择方法的关键是找到一个策 略，既要使种群较快地收敛，也能够维持种群的多样性。

当两个生物机体配对或者复制时，它们的染色体相互混合，产生一对由双方基因组成的新的染色体.这一过程称为交叉 (crossover )或者重组(recombination )

交叉概率用来确定两个染色体进行局部互换以产生两个新的子代的概率。

在遗传算法中，变异是将个体编码中的一些位进行随机变化。变异的主要目的 是维持群体的多样性，为选择、交叉过程中可能丢失的某些遗传基因进行修复和补充。变异算子的基本内容是对群体中的个体串的某些基因座上的基因值做变动。变异操作是按位进行的，即把某一位的内容进行变异。变异概率是在一个染色体中将位进行变化的概率。

主要变异方法有位点变异，逆转变异和插入变异。

七八章

1. 监督学习就是在已知输入和输出的情况下训练出一个模型，将输入映射到输出。
2. 无监督学习不需要人类进行数据标注，而是通过模型不断地自我认知、自我巩固，最后进行自我归纳来实现其学习过程。
3. 对于人类来说，迁移学习其实就是一种与生俱来的能够举一 反三的能力。
4. 在迁移学习当中，通常称有知识和量数据标注的领域为源域，是我们要迁移 的对象；而把最终要赋予知识、赋予标注的对象称作目标域。迁移学习的核心目标 就是将知识从源域迁移到目标域。目前，迁移学习主要通过三种方式来实现：①样本迁移，即在源域中找到与目标域相似的数据并赋予其更高的权重，从而完成从源 域到目标域的迁移。这种方法的好处是简单且容易实现，但是权重和相似度的选择 往往高度依赖经验，使算法的可靠性降低。②特征迁移，其核心思想是通过特征变 换，将源域和目标域的特征映射到同一个特征空间中，然后再用经典的机器学习方 法来求解。这种方法的好处是对大多数方法适用且效果较好，但是在实际问题当中 的求解难度通常比较大。③模型迁移，这也是目前最主流的方法。这种方法假设源域和目标域共享模型参数，将之前在源域中通过大量数据训练好的模型应用到目标 域上。比如，我们在一个千万量级的标注样本集上训练得到了一个图像分类系统， 在一个新领域的图像分类任务中，我们可以直接利用之前训练好的模型，再加上目 标域的几万张标注样本进行微调，就可以得到很高的精度。这种方法可以很好地利 用模型之间的相似度，具有广阔的应用前景。
5. 强化学习的目标就是研究在与环境的交互过程中，如何学习到一种行为策略以最大化得到的累积奖赏。
6. 强化学习通常有两种不同的策略：一是探索，也就是尝试不同 的事情，看它们是否会获得比之前更好的回报；二是利用，也就是尝试过去经验当 中最有效的行为。
7. (深度学习的本质)深度学习是一种特征学习方法，能够把原始数据转变成更高层次的、更加抽象的表达,深 度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更 有用的特征，从而提升分类或预测的准确性。
8. ①前馈型：前馈型神经网络中，各神经元接受前一层的输入并输出给下一层，没 有反馈。前馈网络可分为不同的层，第i层只与第i-1层输出相连，输入与输出的 神经元与外界相连。后面着重介绍的BP神经网络、卷积神经网络都是前馈型神经 网络。

②反馈型：也称记忆网络在反馈型神经网络中，存在一些神经元的输出经过若干个神经元后， 再反馈到这些神经元的输入端。最典型的反馈型神经网络是Hopfield神经网络。它 是全互联神经网络，即每个神经元和其他神经元都相连。

1.样本：关于一个事件或对象的描述（记录），称为一个“示例”(instance)或“样本”(sample)。
2、这组描述（记录）的集合称为一个“数据集” (dataset)。
3、反映事件或对象在某方面的表现或性质的事项，称为“属性”(attribute)或“特征”(feature)；属性上的取值，称为“属性值”(attribute value)。
4、属性张成的空间称为“属性空间”(attribute space)、“特征空间（feature space）“、“样本空间”(sample space)或“输入空间”。
5、从数据中学得模型的过程称为“学习”（learning）或“训练”（training），这个过程通过执行某个学习算法来完成。
6、训练过程中使用的数据称为“训练数据”（training data），其中每个样本称为一个“训练样本”（training sample），训练样本组成的集合称为“训练集”（training set）。
7、学得模型适用于新样本的能力，称为“泛化”(generalization)能力。