Python 学习第五册深度学习第2章神经网络的数学基础

最新推荐文章于 2024-07-06 21:03:15 发布

weixin_38135241

最新推荐文章于 2024-07-06 21:03:15 发布

阅读量724

点赞数 27

文章标签：深度学习 python 学习神经网络

本文链接：https://blog.csdn.net/weixin_38135241/article/details/139849014

版权

----用教授的方式学习。

2.4　神经网络的“引擎”：基于梯度的优化

要理解深度学习，需要熟悉很多简单的数学概念：张量、张量运算、微分、梯度下降等。

2.1　初识神经网络

要素：训练集（training set）、测试集（test set）

神经网络的核心组件是层（layer），它是一种数据处理模块，你可以将它看成数据过滤器。进去一些数据，出来的数据变得更加有用。具体来说，层从输入数据中提取表示——我们期望这种表示有助于解决手头的问题。大多数深度学习都是将简单的层链接起来，从而实现渐进式的数据蒸馏（data distillation）。

要想训练网络，我们还需要选择编译（compile）步骤的三个参数。

1. 损失函数（loss function）：网络如何衡量在训练数据上的性能，即网络如何朝着正确的方向前进。

2. 优化器（optimizer）：基于训练数据和损失函数来更新网络的机制。

3. 在训练和测试过程中需要监控的指标（metric）：本例只关心精度，即正确分类的图像所占的比例。

2.2　神经网络的数据表示

使用的数据存储在多维 Numpy 数组中，也叫张量（tensor）。张量这一概念的核心在于，它是一个数据容器。它包含的数据几乎总是数值数据，因此它是数字的容器。你可能对矩阵很熟悉，它是二维张量。张量是矩阵向任意维度的推广［注意，张量的维度（dimension）通常叫作轴（axis）］。

2.2.1　标量（0D 张量）

仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D 张量）。

2.2.2　向量（1D 张量）

数字组成的数组叫作向量（vector）或一维张量（1D 张量）。一维张量只有一个轴。

2.2.3　矩阵（2D 张量）

向量组成的数组叫作矩阵（matrix）或二维张量（2D 张量）。矩阵有 2 个轴（通常叫作行和列）。你可以将矩阵直观地理解为数字组成的矩形网格。

2.2.4 3D 张量与更高维张量

将多个矩阵组合成一个新的数组，可以得到一个 3D 张量，你可以将其直观地理解为数字组成的立方体。下面是一个 Numpy 的 3D 张量。

2.2.5　关键属性

张量是由以下三个关键属性来定义的。

1. 轴的个数（阶）。例如，3D 张量有 3 个轴，矩阵有 2 个轴。这在 Numpy 等 Python 库中也叫张量的 ndim。

2.形状。这是一个整数元组，表示张量沿每个轴的维度大小（元素个数）。例如，前面矩阵示例的形状为 (3, 5)，3D 张量示例的形状为 (3, 3, 5)。向量的形状只包含一个元素，比如 (5,)，而标量的形状为空，即 ()。

3. 数据类型（在 Python 库中通常叫作 dtype）。这是张量中所包含数据的类型，例如，张量的类型可以是 float32、uint8、float64 等。在极少数情况下，你可能会遇到字符（char）张量。注意，Numpy（以及大多数其他库）中不存在字符串张量，因为张量存储在预先分配的连续内存段中，而字符串的长度是可变的，无法用这种方式存储。