神经网络基础（一）

人工神经网络：

 人工神经网络：是由人工神经元互连组成的网络，它是从微观结构和功能对人脑的抽象化，是模拟人工智能的重要途经，反映了人脑的主要功能，如并行记忆，学习，联想，模式分类等。

生物神经元与人工神经元：

生物神经元：生物上，神经元为神经细胞，是神经系统结构和功能的基本单位。

人工神经元：计算机上 ，人工神经元主要由线性函数和激活函数组成：

线性函数：f(X,W,b) =WX+b

激活函数：Relu,sigmod等

人工神经网络结构：

人工神经网络主要包括输入层，隐藏层和输出层。

感知器：单层神经网络主要应用在二分类线性问题，无法解决XOR等非线性数据问题。

全连接神经网络：

单个感知器只能表达线性数据，把多个感知器进行联合起来，就可以表达种类繁多的非线性曲面。

 前向传播：

1.输入信号从输入层到输出层，

2.对于每个神经元：

 计算上层输入的加权平均值：y' = WX+b

计算激活函数值：y = f(y')

最后输出：模型预测值（f(x,y)）

反向传播算法：

1.误差反向传播算法使用链式求导把输出层的误差反向传播给网络，使神经网络的权重有了简单的梯度计算实现方法。

2.步骤：

 将损失函数反向传播给每个计算单元。

 每个计算单元根据误差更新权重。

神经网络的构建和训练流程：