神经网络学习笔记（一）

一、前馈神经网络基本模型

前馈神经网络是最基本的神经网络，其中的一些基本概念在神经网络的研究中被广泛的使用。

一个前馈神经网络可以看做是一个函数

$$f_\theta : x\rightarrow y$$ 其中输入 $x\in\mathbb R^n$，输出 $y \in \mathbb R^m$，函数的行为通过参数 $\theta \in \mathbb R^p$ 来决定。

构造一个神经网络，需要的各个要素如下：

1、神经元模型

神经元模型是构建神经网络的基本模块。神经元模型的要素如下：

1. 每个神经元的输入为一个向量 $x\in\mathbb R^n$，输出为一个标量
2. 决定神经元行为的参数包括一组权值向量 $\omega \in \mathbb R^n$ 和一个偏置项 $b$
3. 每个神经元的输出可以表示为 $$f(\sum_{i=1}^n{x_i \cdot \omega_i}+b)$$ 其中$f:\mathbb R \rightarrow \mathbb R$ 被称为激活函数
4. 每个神经元需要满足以上三个条件，可以有多种数学形式。

2、神经网络的基本架构

神经网络的基本架构是以神经元为基础构建的层状网络。基本架构的要素如下：

1. 神经元被组织成层状结构，每层的神经元数量根据需要设定。一层中神经元的个数被称为该层的宽度，每一层神经元的宽度不要求保持一致
2. 最后一层神经元被称为输出神经元
3. 输出神经元之前的各层神经元被称为“隐藏层
4. 神经网络中包含的神经元层数被称为网络的深度
5. 除了输入层外，每一层神经元以前一层神经元的输出网络输入
6. 输出层神经元的输出作为整个神经网络的输出，是根据输出做出的预测或者判断
7. 如前所述：一个前馈神经网络可以看做是一个函数$f_\theta : x\rightarrow y$ ，函数的行为通过参数$\theta \in \mathbb R^p$ 来决定。根据上面的要素，我们把参数 $\theta$ 叙述为所有神经元的权重 $\omega$ 和偏置 $b$
8. 设计神经网络的一项重要工作就是设计网络的基本架构：即有多少层神经元，每层神经元的宽度。

3、前馈神经网络的矩阵表示

1. 我们将输入用一个列向量 $x\in \mathbb R^n$ 来表示，假设第一层神经元有 $p_1$ 个神经元，每个神经元有对应于输入向量的权重向量（行向量）$\omega\in \mathbb R^n$，则$p_1$个神经元的权重向量组成了一个矩阵$\omega_1 \in \mathbb R^{p_1\times n}$。
2. 第一层神经元的输出用一个列向量表示$a_1 \in \mathbb R^{P_1}$，且有 $a_1 = f(\omega_1 \cdot x +b_1)$，其中$b_1 \in \mathbb R^{p_1}$是第一层神经元的偏置向量(列向量)
3. 第二层神经元的情况与第一层的类似，只是第二层神经元以第一层神经元的输出作为输入，即 a