深度学习框架
文章平均质量分 79
hanscalZheng
关注NLP领域,专注QA和对话以及知识图谱。
展开
-
torchmetrics:支持80+任务评价指标
torchmetrics是由pytorch-lightning开源的评估指标计算库,内置了常见的80+指标计算逻辑,可以直接使用,也可以与pytorch-lightning结合一起使用。安装 & 使用pipinstalltorchmetrics基础案例:#import三方包importtorchmetrics#initializemetricmetric=torchmetrics.Accuracy()#movethemetrictodev...原创 2022-05-31 15:06:50 · 1136 阅读 · 0 评论 -
Pytorch 常用操作Tricks
目录:1 指定GPU编号2 查看模型每层输出详情3 梯度裁剪4 扩展单张图片维度5 独热编码6 防止验证模型时爆显存7 学习率衰减8 冻结某些层的参数9 对不同层使用不同学习率1. 指定GPU编号设置当前使用的GPU设备仅为0号设备,设备名称为/gpu:0:os.environ["CUDA_VISIBLE_DEVICES"] = "0"设置当前使用的GPU设备为0, 1号两个设备,名称依次为/gpu:0、/gpu:1:os.environ["...原创 2022-05-30 22:54:49 · 176 阅读 · 0 评论 -
PyTorch-1.10(十四)--torch.utils.data基本用法
TORCH.UTILS.DATAAt the heart of PyTorch data loading utility is thetorch.utils.data.DataLoaderclass. It represents a Python iterable over a dataset, with support for map-style and iterable-style datasets, customizing data loading order, au..原创 2022-05-24 16:31:51 · 1351 阅读 · 1 评论 -
PyTorch-1.10(十三)--torch.optim基本用法
是一个实现各种优化算法的包。如何使用优化器创建优化器首先需要构造一个优化器对象,该对象将保持当前状态,并根据计算的梯度更新参数。要构造优化器,必须给它一个包含要优化的参数的迭代对象(所有参数都应该是变量s)。然后,指定特定于优化器的选项,如学习率、权重衰减等。如果需要通过.cuda()将模型移动到GPU,需要在为其构建优化器之前执行此操作。.cuda()操作之后的模型参数将与调用之前的对象不同。optimizer = optim.SGD(model.parameters()...原创 2022-05-22 19:45:12 · 1623 阅读 · 0 评论 -
PyTorch-1.10(十二)--torch.autograd基本用法
Torch.autogradtorch.autograd提供实现任意标量值函数自动微分的类和函数。只需要对现有代码进行最小的更改(声明张量,设置使用requires_grad=True关键字计算其梯度). 到目前为止,pytorch只支持浮点张量类型( half, float, double and bfloat16) 和复数张量类型(cfloat, cdouble)的autograd。 backward 计算给定张量相对于图叶节点的梯度之和。 ...原创 2022-05-15 13:35:15 · 1068 阅读 · 0 评论 -
PyTorch-1.10(十一)--torch.nn.functional与torch.nn的区别
Pytorch中torch.nn与torch.nn.functional的区别相同之处:两者都继承于nn.Module nn.x与nn.functional.x的实际功能相同,比如nn.Conv3d和nn.functional.conv3d都是进行3d卷积 运行效率几乎相同不同之处:nn.x是nn.functional.x的类封装,nn.functional.x是具体的函数接口,nn.functional.x直接传入参数调用,nn.x需要先实例化再传参调用 nn.x除了具有nn.func原创 2022-05-14 19:48:49 · 376 阅读 · 0 评论 -
PyTorch-1.10(十)--torch.nn的损失函数
Loss Functions nn.L1Loss 创建一个标准,用于测量输入x和目标y中每个元素之间的平均绝对误差(MAE) nn.MSELoss 创建一个标准,用于测量输入x和目标y中每个元素之间的均方误差(平方L2范数) nn.CrossEntropyLoss 计算输入和目标之间的交叉熵损失。 nn.CTCLoss 连接主义时间分类损失CTCLoss。 nn.NLLLoss 负原创 2022-05-13 21:33:09 · 505 阅读 · 0 评论 -
PyTorch-1.10(九)--torch.nn的Transformer层、线性层和Dropout
Transformer Layers nn.Transformer A transformer model. nn.TransformerEncoder TransformerEncoder is a stack of N encoder layers nn.TransformerDecoder TransformerDecoder is a stack of N decoder layers原创 2022-05-13 21:11:02 · 1053 阅读 · 0 评论 -
PyTorch-1.10(八)--torch.nn激活层、归一化层和循环神经层
Non-linear Activations (weighted sum, nonlinearity) nn.ELU Applies the element-wise function: nn.Hardshrink Applies the hard shrinkage function element-wise: nn.Hardsigmoid Applies the element-wise原创 2022-05-12 16:01:35 · 419 阅读 · 0 评论 -
PyTorch-1.10(七)--torch.nn卷积层、池化层和填充层
卷积层Convolution Layers nn.Conv1d 对由多个输入平面组成的输入信号应用1D卷积。 nn.Conv2d 对由多个输入平面组成的输入信号应用二维卷积。 nn.Conv3d 对由多个输入平面组成的输入信号应用3D卷积。 nn.ConvTranspose1d 对由多个输入平面组成的输入图像应用1D转置卷积算子。 nn.ConvTranspose2d 对由多个输入原创 2022-05-11 14:11:16 · 870 阅读 · 0 评论 -
PyTorch-1.10(六)--torch.nn容器containers
容器Containers Module 所有神经网络模块的基类。 Sequential 顺序容器。 ModuleList 在列表中保存子模块。 ModuleDict 在字典中保存子模块。 ParameterList 保存列表中的参数。 ParameterDict 在字典中保存参数。 模块的全局原创 2022-05-11 13:56:33 · 175 阅读 · 0 评论 -
PyTorch-1.10(五)--torch数学运算
目录元素操作归纳操作比较操作频谱操作其他操作BLAS和LAPACK操作元素操作 abs 计算输入中每个元素的绝对值。 absolute torch.abs()别名 acos 计算输入中每个元素的反余弦。 arccos torch.acos()别名 acosh 计算输入元素的原创 2022-05-11 13:43:35 · 3619 阅读 · 0 评论 -
PyTorch-1.10(四)--torch序列化、线程和禁用启用梯度计算
序列化 save 将对象保存到磁盘文件。 load 从文件中加载用torch.save()保存的对象 线程数 get_num_threads 返回用于并行化CPU操作的线程数 set_num_threads 设置CPU上用于操作内并行的线程数。 get_num_interop_threads 返回CPU上用于操作间并行原创 2022-05-10 13:03:22 · 510 阅读 · 0 评论 -
PyTorch-1.10(三)--torch张量随机生成、采样
随机采样 seed 设置生成随机数的种子为非确定性随机数。torch.seed() manual_seed 设置生成随机数的种子,返回Generator。torch.manual_seed(2022) initial_seed 返回生成随机数的初始种子。torch.initial_seed() get_rng_state 将随机数生成器状态以torch.Byt原创 2022-05-10 12:50:16 · 2671 阅读 · 0 评论 -
PyTorch-1.10(二)--torch张量创建以及索引、切片和变换操作
张量Tensors is_tensor 如果obj是PyTorch张量,则返回True。 is_storage 如果obj是PyTorch存储对象,则返回True。 is_complex 如果输入的数据类型是复数类型,则返回True。torch.complex64和torch.complex128。 is_conj 如果输入是共轭张量,即其共轭位设置为True,则返回原创 2022-05-09 21:21:38 · 2207 阅读 · 0 评论 -
PyTorch-1.10(一)--简介
什么是pytorchPyTorch是一个开源机器学习Python库,用于深度学习实现,如计算机视觉和自然语言处理。它是由Facebook的AI Research Lab(Fair)于2016年开发的,自数据科学和ML领域以来已采用,并且具有oop支持和动态计算图等具有很大的功能。除了构建深度神经网络之外,由于其GPU加速,Pytorch也非常适合复杂的数学计算。此功能允许Pytorch使用计算机的GPU来大量加速计算。这种独特的功能和Pytorch的无与伦比的简单的组合使其成为最受欢迎的深度学习原创 2022-05-08 12:59:17 · 1366 阅读 · 0 评论