《人工神经网络》读书笔记

Day 1

神经网络：指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。

人工神经网络：指旨在模仿人脑结构及其功能的信息处理系统。

人脑与计算机信息处理机制的比较：
1：系统结构；
2：信号形式；
3：信息存储；
4：信息处理机制；

1：系统结构：
人脑：由数百亿神经元相互连接组合而成。每个神经元只能完成一种基本的功能：兴奋与抑制；
计算机：由各种二值逻辑门电路构成的按串行方式工作的逻辑机器。其信息处理是建立在冯诺依曼体系的基础上，基于程序存取进行工作的；

2：信号形式：
人脑：模拟量与离散脉冲两种形式。模拟信号：具有模糊性特点，有利于信息的整合和非逻辑加工；
计算机：采用离散的二进制数和二值逻辑形式；

3：信息存储：
人脑：分布式、联想式；
计算机：存储在特定位置；

4：信息处理机制：
人脑：一种高度并行的非线性信息处理系统；
计算机：有限集中的串行信息处理机制，即所有信息处理都集中在一个或几个CPU中进行。

Day 2
流程：由感知器开始，进而介绍训练线性单元的梯度下降算法，最终推广到用于神经网络训练的反向传播算法。

感知器：
定义：一种只具有两种输出的简单的人工神经元；
图例：

可知：对应于一个n维空间中的超平面wx=0,它能够分类两类样本。

线性单元：
产生原因：只有1和-1两种输出限制了感知器的处理和分类能力，一种简单的推广是：线性单元。
定义：不带阈值的感知器。
图例：
目的：调整权值w1,w2,…,wn，使得线性单元对于训练样本的实际输出与训练样本的目标输出尽可能地接近。

误差准则：
定义：

图例：（由于无法绘制超过3维的空间，这里设向量w=（w0,w1），即在2维搜索空间w0-w1中搜索最小化式（误差准则））

为了确定一个使E最小化的权向量，从任意的初始权向量w0开始，然后以很小的步长反复修改这个权向量，而每一步的修改都能够使误差E减少。继续这个过程直到找到全局的最小值点的权向量w*。

为什么要引入梯度下降法？
由图可知，设想从解空间中的任意初始点n0开始出发，目的是误差曲面的最低点，由于能见度有限的原因某一时刻只能看到距离自己很近的周边区域，因此每次只试探性地跨出每一步，为了以最快速度到达谷底，一个合理的选择是找到目前最陡峭的下降方向，朝该方向跨出这一步，在新的位置上将获得新的视野，也将找到新的最陡峭的方向，不断重复这一过程直到到达最低目标点。