深度学习 --- 数据操作 & 数据预处理

目录

1.数据操作

N维数组是机器学习和神经网络的主要数据结构

要想用jupyter notebook,就要切换到之前已经配置好的环境中

① shape属性、numel()、reshape()

张量(tensor)表示一个数值组成的数组,这个数组可能有多个维度
shape属性来访问张量的形状,numel()可用来访问张量中元素的个数
改变一个张量的形状而不改变元素的数量和元素值,我们可以用reshape函数

② torch.zeros()、torch.ones()、自己给tensor赋值

 生成全0、全1的tensor可用torch.zeros()torch.ones()方法

也可以自己给tensor赋值

 ③ +、-、*、/、**运算在tensor中升级为按元素运算,torch.exp()也可用来按元素运算

④ 把多个张量连结在一起

dim=0表示行方向的堆叠, dim=1表示列方向的堆叠

⑤ 通过逻辑运算符构建张量(x,y是上面的)

⑥ 对tensor中的所有元素求和

⑦即使形状不同,我们仍可以通过广播机制(broadcasting mechanism)来执行按元素操作

这里的a,b都会通过赋值自身从而达到3x2的维度 

⑧ 读取和修改tensor中的元素

⑨ 运行一些操作可能会导致为新结果分配内存,如果在后续计算中没有重复使用x,我们也可以使用x[:] = x+y或x+=y来减少操作的内存开销

⑩ 将tensor转换为Numpy张量,将大小为1的tensor转换为python标量

 2.数据预处理

为了处理缺失的数据,典型的方法包括插值删除,这里,我们考虑插值

对inputs中的类别值或离散值,我们将"NaN"视为一个类别

现在inputs和outputs中的所有条目都是数值类型,可以转换为张量格式

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
PyTorch是一个用于深度学习的开源框架,它提供了一组工具和接口,使得我们可以轻松地进行模型训练、预测和部署。在PyTorch中,数据处理深度学习应用的重要部分之一。 PyTorch中的数据处理主要涉及以下几个方面: 1.数据预处理:包括数据清洗、数据归一化、数据增强等操作,以提高模型的鲁棒性和泛化能力。 2.数据加载:PyTorch提供了多种数据加载方式,包括内置的数据集、自定义的数据集和数据加载器等,以便我们更好地管理和使用数据。 3.数据可视化:为了更好地理解数据和模型,PyTorch提供了多种数据可视化工具,如Matplotlib、TensorBoard等。 下面是一个简单的数据预处理示例,展示如何将图像进行归一化和数据增强: ```python import torch import torchvision.transforms as transforms from torchvision.datasets import CIFAR10 # 定义一个数据预处理管道 transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2023, 0.1994, 0.2010]) ]) # 加载CIFAR10数据集,进行预处理 trainset = CIFAR10(root='./data', train=True, download=True, transform=transform_train) trainloader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2) ``` 在上面的例子中,我们首先定义了一个数据预处理管道,其中包括了对图像进行随机裁剪、水平翻转、归一化等操作。然后,我们使用PyTorch内置的CIFAR10数据集,并将其预处理后,使用DataLoader进行批量加载。这个过程可以帮助我们更好地管理和使用数据,同时提高模型的训练效率和泛化能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

漂流の少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值