人工神经网络基础

人工神经网络（ANN）及人工智能（AI）

1. 定义

• 智能（Intelligence） 是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
• 人工智能（Artificial Intelligence，AI） 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事准理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
• 人工神经网络（Artificial Neural Network，ANN） 是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。**简单的讲，它是一种数学模型，可以用电子线路来实现，也可以通过计算枧程序来模拟，是人工智能的一种研究方法。

ANN的基本特征

• 结构特点
  信息处理的并行性：单个单元处理简单，可以大规模并行处理，有较快的涑度；
  信息存储的分布性：信息不是存储在网络中的局部，而是分布在网络所有的连接权中；
  信息处理单元的互联性：处理单元之间互联，呈现出丰富的功能；
  结构的可塑性：连接方式多样，结构可塑。
• 性能特点
  高度的非线性：多个单元链接，体现出非线性；
  良好的容错性：分布式存储的结构特点使容错性好；
  计算的非精确性：当输入模糊信息时，通过处理连续的模拟信号及不精确的信息逼近解而非精确解。
• 能力特征
  自学习、自组织与自适应性：根据外部环境变化通过训练或感知，能调节参数适应变化（自学习），并可按输入刺激调整构建神经网络（自组织）。

2. 神经元模型

生物神经元模型->M-P模型

M-P模型：是把神经元视为二值开关元件，按照不同方式组合来完成各种逻辑运算。能够构成逻辑与、非、或，理论上可以进而组成任意复杂的逻辑关系，若将M-P模型按一定方式组织起来，可以构成具有逻辑功能的神经网络


激活函数
激活函数 (Activation Function)：也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与具激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。不同的激活函数，会使神经元具有不同的信息处理特性。**对于神经网络来讲，激活函数的主要作用就是进行线性变换，增加系统的非线性表达能力。**常见的激活函数有：

3.基于神经网络的算法

人工神经网络的学习：通过对样本的学习训练，不断改变网络的拓扑结构及连接权值，使得输出不断的接近期望输出值。

通过训练改变权值的规则被称为学习算法或者学习规则，有时也称作训练规则或者训练算法，学习规则对人工神经网络非常重要。

按照一般的分类标准，通常分为三类：

有监督学习：学习模式为纠错
不断的给网络提供一个输入即其期望的正确输出（称教师信号），将ANN的实际输出和期望输出作比较，不符时，按照一定规则调整权值参数，重新计算、比较，直到网络对于给定的输入均能产生期望的输出。则认为该网络训练完成，即已学会样本数据中的知识和规则。即可用于解决实际问题。

无监督学习：学习模式为自组织
学习时不断给网络提供动态输入信息，网络根据特有的内部结构和学习规则，在输入信息流中发现可能的模式和规律，同时根据网络功能和输入信息调整仅值（自组织）。使网络能对属于同一类的模式进行自动分类。该模式网络权值的调整不取决于教师信号，网络的学习评价标准隐含于网络内部。

参考：神经网络基础算法详解 01：人工神经网络基础