AI入门之神经网络（4）—自学笔记

前言

学习任何一样东西，最重要的就是基础。此博客是本人学习神经网络的笔记，在这里提供分享，记录自学的心路历程！
基础：在这里简单说哈学习神经网络需要的一些数学基础，它包括向量、矩阵、多元微积分、等数学运算。

概述

人工神经网络的学习过程实际上就是对网络链接权值的调整过程。
学习又分为：
1有监督学习
2无监督学习
3增强学习
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互连接构成，每个节点代表一种特定的输出函数（称为激活函数）。每两个节点间的连接都代表一个对于通过该连接信号的加权重（权重weight），神经网络就是通过这种方式模拟人类的大脑。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或函数的逼近，也可能是对一种逻辑策略的表达。

网络构成基本

人工神经网络构成的基本原理主要考虑三个方面的问题：
1神经元的激活函数（数学模型）
2神经元之间的连接方式（拓扑结构）
3学习算法（训练算法）
神经元数学模型的计算能力有两个规则：
1组合输出信号的规则
2将组合输入信号计算成输出信号的激励规则，输出信号经过连接权传送给其他节点，加权的强度通常会是正在通信的信号产生兴奋或抑制。

模型基本要素

人工神经元模型的要素：
1连接加权、连接加权对每个输入信号进行处理以确定其强度，各个神经元之间的连接强度由连接权的权值（重）表示，权值为正表示激活，为负表示抑制。连接加权对应于生物神经元的突触（两个细胞的接口）。从数学上看，当输入信号进入神经元时，它会乘以一个权值。
例如：
如果一个神经元有两个输入，则每个输入将具有分配给它的一个关联权重，我们随机初始化权值，并在模型训练过程中更新这些权值，训练后的神经网络对其认为重要的输入赋予较重权值，对于不那么重要的输入对应较低权值，为零的权值则表示特定输入信号的特征是微不足道的。
2求和单元，用于求取所有输入信号的加权和（线性组合）
3激活函数，一旦将线性分量应用于输入，将需要应用一个非线性函数，通过将激活函数应用于线性组合来完成。激活函数将输入信号转换成输出信号，激活函数起到非线性映射作用，并将神经元输出幅度限制在一定范围内，一般取值为（0，1）或者（-1，1）.激活函数也称为奖励函数、转移函数、传输函数或限制函数，其反映了神经元输入信号与其激活状态之间的关系，也就是神经元在输入信号作用下产生输出信号的规律，这是神经元模型的外特性。
4阈值（偏差），一个阈值Δk，如果用x0=1的固定偏置输入节点表示阈值节点，则它与神经元k之间的连接强度为Wk0=-Δk，阈值也称偏差（bias），它是除了权中之外，另一个被应用于输入的线性分量，它被加到权重与输入相乘的结果中。添加偏差的目的是改变权重与输入相乘所得结果的范围，添加偏差后，结果看起来是“求和单元输出+偏差”，这是输入变换的最终线性分量。