Tensor在神经网络中的角色

目录

Tensor在神经网络中的角色 

实现权重聚合的算法

1. Tensor的基本概念

2. Tensor的数据结构举例

一维Tensor（向量）

二维Tensor（矩阵）

三维及以上Tensor

3. Tensor的内部结构

4. Tensor的操作

Tensor数据结构示例

示例Tensor内容（部分）

model.state_dict()函数

state_dict有那些不同参数

1. 权重（Weights）

2. 偏置（Biases）

3. Batch Normalization参数（如果模型中包含）

4. 其他可能的参数

注意事项

Tensor数据结构例子

1. 词嵌入（Word Embedding）

2. 模型参数

3. 激活函数输出

---

Tensor在神经网络中的角色 

在神经网络中，tensor（张量）是一个核心概念，扮演着数据容器的角色。张量可以看作是标量、向量和矩阵的高维推广，能够存储多维数组的数据。在神经网络中，张量通常用于表示输入数据、权重、偏置项、激活值、梯度以及最终的输出等。

假设我们有一个简单的全连接神经网络（也称为密集连接层或线性层），它用于处理二维输入数据（例如，图像的灰度值或特征向量）。

1. 输入层：输入数据被表示为一个张量，其形状可能为 [batch_size, input_features]，其中 batch_size 是批量中样本的数量，input_features 是每个样本的特征数。

2. 权重和偏置