Pytorch：张量的统计计算

已于 2024-12-15 12:49:50 修改
阅读量1.3k 收藏 25
点赞数 13
分类专栏： # Pytorch 文章标签： pytorch 深度学习 人工智能
于 2024-04-15 12:18:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63997099/article/details/137774657
版权

文章目录

基本统计量是描述数据分布、集中趋势和离散程度的指标，通常用于对张量（或矩阵、向量等）中的元素进行整体性描述。

一、基本统计量

一、均值

.mean() 方法用于计算张量中所有元素的均值。它有两种形式一种是torch.mean(tensor,其他参数)，另一种是tensor.mean(其他参数)下面是一些详细解释：

  1. 计算方法：

    • 对于给定的张量，.mean() 方法将所有元素相加，然后除以张量中元素的总数量，从而得到均值。
    • 公式表示为：均值 = 总和 / 元素数量。

  2. 参数：

    • dim：指定沿着哪个维度计算均值。**默认情况下，计算整个张量的均值。**需要注意理解这里沿着的含义，即沿着这个维度加起来，比如二维，沿着行的维度，则可以算每一列的均值。
    • dtype：指定输出的数据类型，指定的类型必须与默认类型兼容。默认情况下，输出数据类型与输入的数据类型相同。

  3. 数据类型要求：

    • 输入张量的数据类型必须是浮点型（floating point）或复数型（complex），否则会引发错误。

  4. 返回值：

    • 返回一个包含均值的张量。

  5. 示例：

import torch

# 创建一个张量
x = torch.tensor([1, 2, 3, 4, 5, 6])

# 计算张量中所有元素的均值
mean_value = torch.mean(x.float())  # 将张量转换为浮点型，然后计算均值
#等价于mean_value=x.float().mean()
print(mean_value)  # 输出均值

x=torch.tensor([[1,2,2],[4,5,6]])
mean_value = torch.mean(x.float())
print(mean_value)  # 输出均值

mean_value = torch.mean(x.float(),dim=1)
print(mean_value)  # 输出均值
  • 输出：tensor(3.5000) tensor(3.3333) tensor([1.6667, 5.0000])
二、方差

.var() 方法用于计算张量中所有元素的方差。与均值一样，有两种形式。下面是一些详细解释：

  1. 计算方法：

    • 对于给定的张量，.var() 方法首先计算所有元素的均值，然后计算每个元素与均值之差的平方，并求这些平方值的平均值，从而得到方差。
    • 公式表示为：方差 = 平方差的平均值。

  2. 参数：

    • dim：指定沿着哪个维度计算方差。默认情况下，计算整个张量的方差。
    • unbiased：一个布尔值，指定是否使用无偏估计计算方差。默认为 False，表示使用有偏估计（即除以元素数量）；如果设置为 True，则使用无偏估计（即除以元素数量减一）。

  3. 数据类型要求：

    • 输入张量的数据类型必须是浮点型（floating point）或复数型（complex），否则会引发错误。

  4. 返回值：

    • 返回一个包含方差的张量。

下面是一个示例，演示了如何使用 .var() 方法计算张量中所有元素的方差：

import torch

# 创建一个张量
x = torch.tensor([1, 2, 3, 4, 5, 6])

# 计算张量中所有元素的方差
variance_value = torch.var(x.float())  # 将张量转换为浮点型，然后计算方差
print(variance_value)  # 输出方差
  • 输出：tensor(3.5000)
三、标准差

.std() 方法用于计算张量中所有元素的标准差。类似的，有两种形式。下面是一些详细解释：

  1. 计算方法：

    • 对于给定的张量，.std() 方法首先计算所有元素的方差，然后取方差的平方根，从而得到标准差。
    • 公式表示为：标准差 = 方差的平方根。

  2. 参数：

    • dim：指定沿着哪个维度计算标准差。默认情况下，计算整个张量的标准差。
    • unbiased：一个布尔值，指定是否使用无偏估计计算标准差。默认为 False，表示使用有偏估计（即除以元素数量）；如果设置为 True，则使用无偏估计（即除以元素数量减一）。

  3. 数据类型要求：

    • 输入张量的数据类型必须是浮点型（floating point）或复数型（complex），否则会引发错误。

  4. 返回值：

    • 返回一个包含标准差的张量。

下面是一个示例，演示了如何使用 .std() 方法计算张量中所有元素的标准差：

import torch

# 创建一个张量
x = torch.tensor([1, 2, 3, 4, 5, 6])

# 计算张量中所有元素的标准差
std_value = torch.std(x.float())  # 将张量转换为浮点型，然后计算标准差
print(std_value)  # 输出标准差
  • 输出：tensor(1.8708)
四、最大值

.max() 方法用于找到张量中的最大值，并返回该最大值，如果包含dim参数并将返回对应的索引。类似的，有两种形式。下面是一些详细解释：

  1. 返回值：

    • 如果没有指定任何参数，.max() 方法将返回张量中的最大值。
    • 如果指定了 dim 参数，则返回沿着指定维度的最大值及其索引。返回的结果是一个元组，包含两个张量：
      • 第一个张量是沿着指定维度的最大值。
      • 第二个张量是沿着指定维度的最大值对应的索引。

  2. 参数：

    • dim：指定沿着哪个维度查找最大值。默认情况下，查找整个张量中的最大值。
    • keepdim：一个布尔值，与dim一同使用，指定是否保持返回的张量具有与输入张量相同的维度数。默认为 False。

  3. 返回值的数据类型：

    • 返回的最大值和索引张量的数据类型与输入张量相同。

4.示例：

import torch

# 创建一个张量
x = torch.tensor([[1, 2, 3],
                  [4, 5, 6],
                  [7, 8, 9]])

# 查找整个张量中的最大值及其索引
max_value= x.max()
print("整个张量中的最大值:", max_value)

# 沿着指定维度查找最大值及其索引
max_value_dim0, max_index_dim0 = x.max(dim=0)
print("沿着维度0的最大值:", max_value_dim0)
print("沿着维度0的最大值索引:", max_index_dim0)
  • 输出：整个张量中的最大值: tensor(9) 沿着维度0的最大值: tensor([7, 8, 9]) 沿着维度0的最大值索引: tensor([2, 2, 2])
五、最小值

.min() 方法用于找到张量中的最小值，并返回该最小值及其对应的索引。类似的，有两种形式。它与.max的使用类似，因此不再赘述。

二、相关性统计量

相关性统计量在数据分析和机器学习中非常重要，它们帮助我们理解不同维度之间的关系。以下是常见的相关性统计量：

  1. 相关系数（Correlation Coefficient）：

    • 相关系数用于衡量两个变量之间的线性相关程度。
    • 常见的相关系数包括：
      • Pearson 相关系数：衡量两个变量之间的线性关系强度和方向。取值范围在 -1 到 1 之间，其中 1 表示完全正相关，-1 表示完全负相关，0 表示无相关性。
      • Spearman 相关系数：衡量两个变量之间的单调关系的强度和方向。与 Pearson 相关系数不同，它不要求变量之间的关系是线性的。
      • Kendall 相关系数：衡量两个变量之间的等级关系的强度和方向。它衡量的是变量之间的秩次关系，而不是原始值的关系。

  2. 协方差（Covariance）：

    • 协方差用于衡量两个随机变量的总体相关性。
    • 当协方差为正时，表示两个变量的变化趋势是一致的；当协方差为负时，表示两个变量的变化趋势是相反的；当协方差接近于零时，表示两个变量之间没有线性关系。
    • 协方差的值大小与变量的单位相关，因此不易直观比较不同数据集之间的相关性。
一、皮尔逊相关系数

PyTorch 中的 torch.corrcoef() 函数计算的是皮尔逊相关系数矩阵。

import torch

X = torch.tensor([[1, 2, 3], [4, 5, 6]])
Y = torch.tensor([[2, 4, 6], [1, 3, 5]])
corr_XY = torch.corrcoef(X, Y)
print(corr_XY)

import torch

# 创建一个二维张量
x = torch.tensor([[1, 2, 3],
                  [4, 5, 6]])

# 计算皮尔逊相关系数矩阵
corr_matrix = torch.corrcoef(x)
print(corr_matrix)
二、协方差
import torch

X = torch.tensor([[1, 2, 3], [4, 5, 6]])
Y = torch.tensor([[2, 4, 6], [1, 3, 5]])
cov_XY = torch.cov(X, Y)
print(cov_XY)

三、累计统计量

一、张量的和
import torch
 
tensor = torch.tensor([1, 2, 3, 4, 5])
sum_value = torch.sum(tensor)
print(sum_value)
  • 输出：tensor(15)
二、张量的累积和
import torch
 
x = torch.tensor([[1, 2, 3],
                  [4, 5, 6]])
cumsum_value = torch.cumsum(x, dim=0)#貌似一定得指定 
print(cumsum_value)
# import torch
#  
# x = torch.tensor([1, 2, 3])
# cumsum_value = torch.cumsum(x, dim=0)
# print(cumsum_value)
  • 输出：tensor([[1, 2, 3], [5, 7, 9]])
三、张量的乘积
import torch
 
tensor = torch.tensor([1, 2, 3, 4, 5])
prod_value = torch.prod(tensor)
print(prod_value)
  • 输出：tensor(120)
四、张量的累积乘积
import torch

x = torch.tensor([[1, 2, 3],
                  [4, 5, 6]])
cumprod_value = torch.cumprod(x, dim=0)#貌似一定得指定 
print(cumprod_value)
  • 输出：tensor([[ 1, 2, 3], [ 4, 10, 18]])
pytorch中张量的运算
m0_45827246的博客
01-01 3087
在深度学习中，经常需要对张量做四则、线性变换和激活等。 1. 单个张量的函数运算 t = torch.rand(2, 2) # 产生一个3x3的张量 print(t) print(t.sqrt()) # 张量的平方根，张量内部方法 print(torch.sqrt(t)) # 张量的平方根，函数形式 print(t.sqrt_()) # 平方根原地操作 print(torch.sum(t)) # 所有元素求和 print(torch.sum(t, 0)) # 第0维元素求和 print(torc
Pytorch中对于模型的参数量和计算量的统计
qq_37844044的博客
08-12 1084
背景：接前面的想法，安装thop第三方库后，就要利用它来进行模型参数量和计算量啦！！！！ 1、安装Thop 哈哈哈哈，这一步我就不在这里赘述了，大家可以去看看我的另一篇博客。传送门-------》thop安装避坑，点击即达 2、代码使用 1)直接输出 import thop from thop import profile # 定义好的网络模型 input = torch.randn(1, 3, 224, 224) flops, params = profile(Model,inputs=(input,.
PyTorch张量数值计算
逐梦苍穹的博客
07-16 821
PyTorch张量数值计算
【深度学习pytorch-5】张量数值运算
m0_69378371的博客
02-14 328
张量（Tensor）是多维数组的扩展，在深度学习、物理学、计算机视觉、自然语言处理等领域广泛应用。张量不仅能够表示数据，还能进行复杂的数学计算，如矩阵运算、张量乘法、点积等。在深度学习框架中，张量是数据的基本单元。通过对张量进行数值计算，能够完成训练和推理的各类任务。基本的张量操作张量的加法与减法张量的乘法与除法矩阵乘法点积与外积广播机制元素级运算高阶运算张量数值计算是数据科学、机器学习、深度学习中的核心内容，涉及多种基础运算和高级计算，包括加法、乘法、点积、广播机制、矩阵运算等。
【Pytorch】三大相关系数及在pytorch中的计算
qq_42203652的博客
10-22 5411
三大相关系数及在pytorch中的计算
Pytorch中统计模型的计算量(FLOPs)和参数量(Params)
热门推荐
qq_36771396的博客
03-29 1万+
get_model_complexity_info 函数的参数 as_strings=True 表示返回的结果以字符串形式表示，print_per_layer_stat=True 表示打印每个层的统计信息。然后，我们定义了模型的输入尺寸，并使用 get_model_complexity_info 函数来计算模型的乘积累加操作（MACs，可以近似为 FLOPs）和参数量。最后，我们将结果打印出来。在深度学习中，FLOPs 用于衡量模型的总计算量，包括所有的乘法、加法和其他可能的操作（如激活函数的计算）。
3、深度学习框架PyTorch：张量的广播和科学计算
最新发布
天涯雨的博客
05-04 807
深度学习框架PyTorch：张量的广播和科学计算
1、深度学习框架PyTorch：张量的创建及常用方法
天涯雨的博客
05-04 837
深度学习框架PyTorch：张量的创建及常用方法
Pytorch：张量常用方法与基本运算
Jingmin Wei's Blog
02-03 1085
主要介绍了张量的常用方法与基本运算，也讲解了自动微分机制和计算图架构
【冰糖Python】PyTorch： Tensor 张量属性及相关操作
冰糖的小屋
03-21 1517
torch.Tensor.item() 用于将单个值的 Tensor 转换为 Python 数字
Pytorch中张量的基本使用
qq_61902927的博客
07-21 1117
张量是一个多维的数据容器，可以包含标量、向量、矩阵以及更高维度的数据。在数学上，张量可以被视为一个有序的数组，每个元素都可以通过索引来访问。张量的维度（也称为阶或秩）定义了其形状，即每个维度的大小。0维张量：也称为标量（Scalar），是最基本的数据单元，没有维度，只有一个数值。1维张量：通常称为向量（Vector），可以看作是标量的有序列表，常用于表示数据点或特征。2维张量：称为矩阵（Matrix），在数学和物理学中广泛使用，用于表示线性变换、统计数据等。多维张量。
Tensor calculation(张量计算)
11-29
Tensor calculation,关于张量计算的经典书籍。 标量、向量、张量是数学的。。。。。
pytorch统计模型计算量和参数量的工具
weixin_41912543的博客
09-18 1088
https://www.jianshu.com/p/b1ceaa7effa8
张量的计算
VincentWeng1的博客
02-26 1389
张量的计算 数学运算 四则运算 ±*(@)/，必须满足矩阵运算的条件 加.表示矩阵对应位置进行操作 高维矩阵乘法 torch.matmul(a,b)对a,b的最后两维度进行矩阵乘法，其他维度不变。高维矩阵的乘法计算，本质上是支持了多个矩阵乘法的并行计算 判断相等 torch.eq(a,b) 乘方 .pow(2)或a**2 .rsqrt()或a**(0.5) 指数 torch.exp() 对数 torch.log() 近似运算 .floor()向下取整 .ceil()向上取整 .round()四舍五入
深度学习之pytorch张量与张量运算
自成背后的博客
04-19 540
pytorch 张量与张量运算
Pytorch张量的数学运算：向量基础运算
m0_63997099的博客
04-07 1526
举例来说，如果你有一个256×256×3的数组（比如一张256x256像素的彩色图像，3表示颜色通道）和一个3的数组（表示每个颜色通道的缩放因子），那么这个小维度数组的形状会在最左边补1直到两个数组的维数相同，即小数组的形状会被视为1 ×1 × 3。这些运算包括但不限于加法、减法、乘法、除法、内积、外积、张量积、索引、切片以及各种变换等。继续上面的例子，1 ×1 × 3的数组在前两个维度上大小为1，会被扩展为与另一个数组在这些维度上的大小相同，即扩展为256×256×3。但利用广播，这个操作可以自动完成。
张量计算【Tensor Computation】
just do something
02-13 1647
简单理解，张量就是一个多维数组，张量计算在众多领域均有体现。
pytorch（三）——Tensor张量的运算
北落师门XY的博客
03-14 3795
注：以下均基于导入库 import torch 构造方法 常用函数 .reshape()#变形 .size()#返回大小 .dim()#返回维度，即size返回的数据条目个数 .numel()#返回元素个数，即size返回条目之积 .dtype#查看元素类型，int默认torch.int64，bool默认torch.uint8...
PyTorch基本使用-张量的基本运算及函数计算
dwjf321的博客
12-08 544
张量的基本运算及函数
最大最小值归一化pytorch
03-22
<think>好的，用户想知道如何在PyTorch中实现最大最小值归一化。我需要先回顾一下相关知识。最大最小值归一化，也就是Min-Max Normalization，通常是将数据缩放到[0,1]或者[-1,1]的范围。公式应该是这样的：$$X_{\text{norm}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}}$$。那在PyTorch里，怎么应用这个公式呢？ 首先，用户可能需要处理的是张量数据。PyTorch提供了torch.min()和torch.max()函数，可以用来计算张量的最小值和最大值。但要注意，如果张量里有多个维度，可能需要指定dim参数来沿着某个维度计算。比如，对于一个二维张量，行或列的方向。 接下来，假设用户的数据是一个一维张量，或者想要全局归一化。这时候，直接计算整个张量的最小和最大值，然后套用公式即可。例如，tensor = (tensor - tensor.min()) / (tensor.max() - tensor.min())。这样就能得到0到1之间的值。 如果数据中存在全零的情况，或者最大值和最小值相等，这时候分母会是零，会导致除以零的错误。所以需要处理这种情况，可以添加一个很小的epsilon值，或者检查是否需要进行归一化。 另外，用户可能需要将数据缩放到不同的范围，比如[-1,1]。这时候公式可以调整一下，先归一化到[0,1]，再乘以2减1，变成[-1,1]。例如：scaled_tensor = (tensor - min_val) / (max_val - min_val) * 2 - 1。 还有，归一化的维度问题。如果张量是二维的，比如一个batch的数据，用户可能需要每个样本单独归一化，或者整个batch一起归一化。这时候需要指定dim参数。比如，在计算min和max的时候，指定dim=0或dim=1，具体看数据排列方式。 此外，PyTorch的自动求导功能需要注意。如果用户是在神经网络中进行归一化，并且需要保留梯度，那么直接使用这些操作是可行的，因为PyTorch会自动跟踪这些计算。但如果在预处理阶段不需要梯度，可以用torch.no_grad()来节省内存。 可能用户的应用场景是数据预处理，比如图像数据通常归一化到[0,1]，或者声音数据归一化到[-1,1]。需要根据具体任务调整归一化的范围。 另外，参考引用中的信息，比如引用[4]提到PyTorch的训练数据预处理，可能需要将归一化作为预处理步骤。这时候应该确保在训练和测试时使用相同的归一化参数，比如用训练集的min和max来归一化测试集，防止数据泄露。 用户还可能关心如何将归一化集成到神经网络中，比如使用nn.Module来封装归一化层。这样可以在模型内部自动处理归一化，方便使用。 最后，需要提供一个完整的代码示例，展示如何在不同情况下实现归一化，包括处理多维数据、不同范围以及注意事项。这样用户可以直接复制代码并根据自己的需求调整。</think>### 如何在PyTorch中实现最大最小值归一化？ 最大最小值归一化（Min-Max Normalization）是一种将数据线性映射到特定范围（如$[0,1]$或$[-1,1]$）的方法。其数学公式为： $$X_{\text{norm}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}}$$ #### 分步实现方法 1. **基本实现（全局归一化）** ```python import torch def min_max_normalize(tensor): min_val = torch.min(tensor) max_val = torch.max(tensor) normalized_tensor = (tensor - min_val) / (max_val - min_val) return normalized_tensor # 示例 data = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0]) normalized_data = min_max_normalize(data) # 输出：[0.0, 0.25, 0.5, 0.75, 1.0] ``` 2. **多维张量归一化** 指定维度进行归一化（如按行或列）： ```python def min_max_normalize_dim(tensor, dim=0): min_vals = torch.min(tensor, dim=dim, keepdim=True).values max_vals = torch.max(tensor, dim=dim, keepdim=True).values normalized = (tensor - min_vals) / (max_vals - min_vals) return normalized # 示例（按列归一化） matrix = torch.tensor([[1.0, 2.0], [3.0, 4.0]]) normalized_matrix = min_max_normalize_dim(matrix, dim=0) ``` 3. **扩展到自定义范围** 若需将数据映射到$[-1,1]$： ```python def min_max_normalize_custom(tensor, new_min=-1, new_max=1): min_val = torch.min(tensor) max_val = torch.max(tensor) normalized = (tensor - min_val) / (max_val - min_val) scaled = normalized * (new_max - new_min) + new_min return scaled ``` #### 注意事项 - **零分母处理**：若输入张量所有元素相同（即$X_{\text{max}} = X_{\text{min}}$），需添加极小值$\epsilon$防止除以零： ```python normalized = (tensor - min_val) / (max_val - min_val + 1e-8) ``` - **梯度保留**：默认情况下上述操作会保留梯度，若需禁用梯度可使用`with torch.no_grad()` - **批处理场景**：在训练集和测试集上应使用相同的归一化参数（如训练集的$X_{\text{min}}$和$X_{\text{max}}$）[^4] #### 应用场景 该方法常用于图像像素值归一化、特征缩放等场景，例如将RGB图像从$[0,255]$映射到$[0,1]$。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yorelee.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值