6.1 神经网络基础--基础概念

要了解多次感知器，需要先了解以下几个概念

一、神经元

神经元是基本的信息操作和处理单位。它接收一组输入，将这组输入加权求和后，由激活函数计算该神经元的输出。

二、输入

一个神经元可以接收一组张量作为输入 x = {x₁，x₂，x₃，xn}ᵀ。

三、输出

激活函数的输出 o 即神经元的输出。

一个神经元可以有多个输出 o₁，o₂，...，om，对应于不同的激活函数 f₁，f₂，...，fm。

四、连续权值

连续权值向量为一组张量 W = {w₁，w₂，...，wn}，其中 wi 对应输入 xi 的连续权值；

神经元将输入进行加权求和： ；

写成向量形式： s = Wx

五、偏置

有时候加权求和会加上一项常数项 b 作为偏置，其中张量 b 的形状要与Wx的形状保持一致：

s = Wx + b

六、激活函数

激活函数 f(·) 被施加到输入加权和 s 上，产生神经元的输出；

这里，若 s 大于 1 阶的张量，则 f(·) 被施加到 s 的每一个元素上：  o = f(s)

在神经网络中，全连接层只是对上层输入进行线性变换，而多个线性变换的叠加仍然是一个线性变换，即含有多个全连接层的神经网络与仅含输出层的单层神经网络等价。

解决问题的一个方法是，在全连接层后增加一个非线性的变换，将非线性变换后的结果作为下一个全连接层的输入。

这个非线性函数被称为激活函数（Activation Function），神经网络可以逼近任意函数的能力与激活函数的使用不可分割。 常见的激活函数有ReLU、Sigmoid、Tanh和Softmax等。

常用的激活函数如下:

1、softmax

Softmax函数常在神经网络输出层充当激活函数，将输出层的值映射到(0,1)区间，将神经元输出构造成概率分布，用于多分类问题中，Softmax激活函数映射值越大，则真实类别可能性越大。

（1）softmax适用于多元分类问题，作用是将分别代表n个类的n个标量归一化，得到这n个类的概率分布：

<