深度学习笔记记录（全连接神经网络）

对于深度学习的理解

深度学习是机器学习的一个分支，它主要关注如何使用多层神经网络来学习数据的特征表示。与传统的机器学习算法相比，深度学习在处理大规模数据和复杂任务时具有更好的性能。
传统的机器学习算法通常需要手工提取特征，并且在处理复杂数据时可能会遇到性能瓶颈。而深度学习通过多层神经网络的堆叠，可以自动学习数据的高阶特征表示，从而在复杂任务上取得更好的表现。

全连接神经网络

全连接神经网络，也称为前馈神经网络（Feedforward Neural Network），是一种最基本的人工神经网络。

在全连接神经网络中，神经元（或节点）被组织成多个层，每一层的神经元与前一层和后一层的神经元全都相连，但同一层内的神经元之间没有连接。 数据在网络中是从输入层向输出层单向传播的，没有反馈（或循环）连接，这也是"前馈"这个名字的由来。

全连接神经网络的每一个连接都有一个权重，这些权重是通过训练数据来学习的。 每个神经元会计算其所有输入的加权和，然后通过一个激活函数，如 ReLU、sigmoid 或 tanh 等，来得到其输出。

这种网络结构可以适应多种任务，如分类、回归等。但对于处理序列或图像等数据时，全连接神经网络的效果可能不如其他特定的网络结构，比如说循环神经网络（用于处理序列数据）和卷积神经网络（用于处理图像数据）。

下面是理解神经网络的基础，看不懂可以直接从神经网络的总体层次那里看。

线性函数

首先以分类问题为例子。假如判断一张图片是否为猫的照片，线性函数会给出这张照片为猫、狗、狼的得分，所以也可以称为这个线性函数为得分函数。下面这张图片可以展示，其中W代表权重参数，输入x代表输入进去的图像。

同时，假设输入的图像为32323的矩阵，其中，3232是图像的高和宽，3是RGB三颜色通道。假设分类的类别为10种，并且共有32323=3072个像素点， 所以W是一个103072的矩阵，b是偏秩项。