神经网络学习笔记（四）

3.6.2定义softmax操作

在实现softmax回归模型之前，我们简要回顾一下sum运算符如何沿着张量中的特定维度工作。 如 2.3.6节和 2.3.6.1节所述， 给定一个矩阵X，我们可以对所有元素求和（默认情况下）。 也可以只求同一个轴上的元素，即同一列（轴0）或同一行（轴1）。 如果X是一个形状为(2, 3)的张量，我们对列进行求和， 则结果将是一个具有形状(3,)的向量。 当调用sum运算符时，我们可以指定保持在原始张量的轴数，而不折叠求和的维度。 这将产生一个具有形状(1, 3)的二维张量。

 

这里的0是对列求和，1代表了对行求和，至于keepdim是一个是不是保持维度的一个标志位。

 

 

注意，虽然这在数学上看起来是正确的，但我们在代码实现中有点草率。 矩阵中的非常大或非常小的元素可能造成数值上溢或下溢，但我们没有采取措施来防止这点。

3.6.3定义模型

定义softmax操作后，我们可以实现softmax回归模型。 下面的代码定义了输入如何通过网络映射到输出。 注意，将数据传递到模型之前，我们使用reshape函数将每张原始图像展平为向量。

 

3.6.4定义损失函数

这个就是利用交叉熵来定义损失函数

 

Tensor的作用就是生成这样的一个矩阵。

4.1多层感知机

4.1.1隐藏层

这部分就是说我们之前的是一种线性，线性意味着单调，单调就意味着我们很多问题处理不了。

4.1.1.2在网络图层中加入隐藏层

隐藏层的作用就是：

我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制， 使其能处理更普遍的函数关系类型。 

 我们可以把前L−1层看作表示，把最后一层看作线性预测器。 

 

注意：每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层中的每个神经元。
4.1.1.3从线性到非线性

如何让输出的图像一直存在就要加上

 

 

这个意思就是说我们比如有很多隐藏层，我们通过合并一定能给他合并成一层的隐藏层。

 

激活函数是什么？？？

多层神经网络更能更快的逼近函数

虽然一个单隐层网络能学习任何函数， 但并不意味着我们应该尝试使用单隐藏层网络来解决所有问题。 事实上，通过使用更深（而不是更广）的网络，我们可以更容易地逼近许多函数。 我们将在后面的章节中进行更细致的讨论。

这里来解释下为什么要使用激活函数？

因为神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，我们会发现常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。