机器学习的概念

机器学习现状：

1、中国传统行业还没准备好利用人工智能技术，诸多传统行业并未把其视作战略重点；

2、于着手制定人工智能战略的企业，人才匮乏是其主要桎梏；

3、在该领域，尤其在机器人技术水平上与发达国家相距甚远。

我们做出有效的预判是因为我们积累了许多经验，而通过对经验的利用就能对新情况做出有效的决策。

一、基本概念

机器学习是一门研究机器模拟人类的学习活动、获取新知识和新技能，并识别现有知识的学问。这里的机器就是计算机。-摘自蔡自兴《智能系统 原理、算法与应用》p150。

用于学习的数据必须是标注好的，在学习之前通常将所有的数据分割成三个部分：训练集，验证集和测试集，其中训练集用于学习参数，验证集用于调整设定的参数，而测试集用于最终评估学习的效果。

二、基本模型

2.1条件概率分布

事件A在另外一个事件B已经发生条件下的发生概率。若只有两个事件A，B。

每个像素点分布的概率有多大，通过一大堆数据的训练达到目的。

2.2贝叶斯公式

        学过概率理论的人都知道条件概率的公式：P(AB)=P(A)P(B|A)=P(B)P(A|B)；即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式：P(B|A)=P(A|B)P(B)/P(A)；即,已知P(A|B)，P(A)和P(B)可以计算出P(B|A)。

        假设B是由相互独立的事件组成的概率空间{B1,b2，...bn}。则P(A)可以用全概率公式展开：P(A)=P （A|B1)P(B1)+P（A|B2)P(B2)+..P（A|Bn)P(Bn)。贝叶斯公式表示成：P(Bi|A)=P(A|Bi)P(Bi)/(P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn))；常常把P(Bi|A)称作后验概率，而P（A|Bn)P(Bn)为先验概率。而P(Bi)又叫做基础概率。

贝叶斯公式看起来很简单，但是在自然科学领域应用范围及其广泛。同时理论本身蕴含了深刻的思想。
2.3全概率公式
全概率公式为概率论中的重要公式，它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。内容：如果事件B1、B2、B3…Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P（Bi)大于0，则对任一事件A有P(A)=P(A|B1)P(B1) + P(A|B2)P(B2) + ... + P(A|Bn)P(Bn)。

3.专家系统

在专家系统中，核心问题是知识的表示、获取与运用问题，知识获取是各种机器学习策略决定的，经典有归纳学习、示教学习、实例学习、顿悟学习，以及非经典的各种软件计算方法。专家系统与一般应用程序的主要区别在于专家系统将应用领域的问题求解知识独立形成一个知识库，可以随时进行更新、删减与完善等维护。

专家系统的主要功能应包括：知识储备、描述能力、推理能力、问题解释、学习能力、交互能力。

3.1神经网络专家系统

最普通的人工神经网络是由三层单元组成的，一层是输入单元，其与隐单元层相连接，最后接的是输出单元层。一般构造出某种特定任务的人工神经网络的步骤如下：1、选择合适的问题表达式，使得单元的输出与问题的解彼此对应起来；2、构造出一种能量函数，使得最小值对应于问题的最佳解；3、由能量函数去构造合适的连接权值及误差标准的确定方法；4、通过一定的学习策略来动态调节权值及误差等参数，使得最终形式的人工神经网络真好是对给定问题的解模型。

某个特定任务：首先向神经网络提供一些训练实例数据，经过训练后的神经网络的权值矩阵都将确定到一组最佳值；然后通过不断判断输出与期望输出的符合程度并及时通过反馈修正，可以很好地完成训练任务。

3.2演化神经系统

遗传演化计算方法主要是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索方法。包括两种机制：1、遗传和变异，2、选择和进化。选择、交叉、变异。

对于给定神经专家系统中的神经网络而言，就可以在权值矩阵和网络结构两个方面来进行遗传算法的优化学习。可以按照如下步骤：1、首先对权值矩阵进行基因编码，将一组权值编码为一条染色体，其中同一个神经元的输入源可以捆绑一起遗传优化，给出初始化权值矩阵赋值；2、定义一个反映染色体性能估价的适应度函数，其值对应神经网络的性能：即错误平方之和的倒数。然后，对于给定的染色体，将其中所含每个权值分别赋给新神经网络中的连接边。用实例训练集测试该网络，并计算错误平方和，使得和越小，染色体越适应。遗传算法就是要寻找平方错误最小的染色体。3、选择遗传算子，即选择具体的交叉与变异策略，并以染色体中的整小结为单位进行操作。4、定义群体规模和参数，即规定不同权值矩阵代表的神经网络的最大数，以及交叉和变异概率、最大迭代等参数。

4神经网络学习

以反向传播网络和Hopfield网络为例，讨论通过训练神经网络的学习问题。

4.1基于反向传播网络的学习BP

反向传播算法是一种计算单个权值变化引起网络性能变化值得较为简单的方法。由于BP算法过程包含从输出节点开始，反向地向第一隐含层传播，由总误差引起的权值修正。BP算法的学习过程由正向传播和反向传播组成。正向传播的过程：输入信息从输入层经隐单元层逐层处理后传至输出层。如果在输出层得不到期望输出，那么就反向传播，将误差信号沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。

属于典型的前馈网络。

4.2基于Hopfield网络的学习

是一种动态反馈系统