Pytorch
文章平均质量分 62
Pytorch相关文章
xieyan0811
算法工程师,终生学习者,《Python大数据与机器学习实战》作者
展开
-
用ssh方式连接mysql数据库
原理SSH连接数据库的原理是先用ssh连接数据库所在服务器,然后作为该服务器上的应用程序访问本地数据库。NavicatPython安装工具$ pip install sshtunnel建立连接import sshtunnelwith sshtunnel.SSHTunnelForwarder( ('192.168.1.216', 22), # ssh端口22 ssh_password='实际密码', ssh_user原创 2022-01-05 17:57:48 · 9555 阅读 · 0 评论 -
配置BERT运行环境
自然语言处理库Transformers包含了BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM等模型的实现,近两年Pytorch生态日趋成熟。因此,本文中使用Transformers的Pytorch支持来调用BERT模型。检查cuda版本深度学习模型如果没有GPU加持,训练速度几乎是无法忍受的,因此,在使用模型前请先确认GPU正常工作;另外,最新版本的Transformers需要Pytorch 1.5.0及以上版本,而Pytorch 1.5.0底层又依赖CUDA 10.2原创 2021-10-05 20:39:03 · 1018 阅读 · 1 评论 -
Pytorch避免更新模型梯度
1. torch.no_grad(1) 用法with torch.no_grad(): 具体操作(2) 说明上例的“具体操作”中均不更新梯度,这样可以节约计算时间和内存。一般用于验证或者测试阶段。2. param.requires_grad(1) 用法p.requires_grad=False(2) 说明一般用于将某一层设置为不自动更新梯度,以避免训练模型时对该层调参。3. model.eval(1) 用法model.eval()具体操作(2原创 2020-05-21 13:34:24 · 2391 阅读 · 0 评论 -
Pytorch提取不同层次图片的特征
下例使用torchvision库提取了resnet最后一层的卷积特征;resnet各block的卷积特性,以及金字塔特性。具体取哪一层特征视使用场景而定,resnet各block的输出包含更丰富的特征;从resnet最后一层提取的特征更为抽象;fpn每层通道数相等,含义也类似,可以在多层之间比较。import osimport torchvision.models.detection.backbone_utils as backbone_utilsimport torchvisionimpo原创 2020-05-21 11:20:19 · 1842 阅读 · 0 评论 -
Pytorch_Seq2Seq与Attention
自然语言处理是典型的序列问题,其底层算法在最近几年迅速发展,比如去年年底发布的BERT在11项自然语言处理任务中表现卓越,今年GPT-2生成文本(写作)的水平也有了显著提高。目前这些最先进的技术都基于Transformer模型,该模型从RNN,LSTM,Seq2Seq,Attention,ConvS2S,Transformer一步步进化而来,还涉及自然语言处理的相关知识,包含的知识点太多,无法...原创 2019-12-18 11:16:38 · 1234 阅读 · 0 评论 -
Pytorch常用函数之一_数据类型
编程语言和自然语言一样,不理解的词越多,对全文的理解就越差。掌握必要的基础知识,让后期看代码更加流畅。机器学习需要掌握数据处理工具Pandas、Numpy,同理,深度学习也需要掌握相应的工具,在Pytorch中数据存储在Tensor之中,本篇将介绍它们的基本用法以及与之相关的常用函数。查看版本信息包含头文件1. import torch 1.查看torch版本1. print(torch.__version__) 2.查看CUDA版本1. print(to原创 2020-06-05 18:24:28 · 956 阅读 · 0 评论 -
TorchVision
说明很多基于Pytorch的工具集都非常好用,比如处理自然语言的torchtext,处理音频的torchaudio,以及处理图像视频的torchvision。torchvision包含一些常用的数据集、模型、转换函数等等。当前版本0.5.0包括图片分类、语义切分、目标识别、实例分割、关键点检测、视频分类等工具,它将mask-rcnn功能也都包含在内了。mask-rcnn的Pytorch版本最高支持torchvision 0.2.*,0.3.0之后mask-rcnn就包含到tensorvision之中原创 2020-06-04 13:54:34 · 1377 阅读 · 0 评论 -
Pytorch_基于预训练的ResNet模型训练自己的分类器
1. 加载数据import osimport torch.utils.data as dataimport torchimport torch.optim as optimimport torch.nn as nnfrom torch.optim import lr_schedulerfrom torchvision import datasets, models, transf...原创 2020-04-11 13:09:51 · 3964 阅读 · 1 评论 -
Pytorch_Transformer框架
Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。Transformer的具体算法在论文《Attention Is All You Need》中描述。论文中展示了该模型的训练准确性高于之前所有模型,训练时间明显低于之前的模型,在训练集内容较少时训练效果也很好。它使用8个P1...原创 2019-12-25 20:03:40 · 2851 阅读 · 0 评论 -
Pytorch_LSTM与GRU
RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时,常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。RNN的缺点RNN的梯度消失和梯度爆炸不同于其它网络,全连接网络和卷积网络每一层有不同参数,而RNN 的每个处理单元Cell(处理单个序列元素的操作称为处理单元Cell)共用同一组权重矩阵W。在上一篇介绍RNN网...原创 2019-12-11 14:18:53 · 1660 阅读 · 0 评论 -
Pytorch_循环神经网络RNN
RNN是Recurrent Neural Networks的缩写,即循环神经网络,它常用于解决序列问题。RNN有记忆功能,除了当前输入,还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。RNN是序列模型的基础,尽管能够直接调用现成的RNN算法,但后续的复杂网络很多构建在RNN网络的基础之上,如Attention方法需要使用RNN的隐藏层数据。RNN的原理并不复杂,但由于其中包括循...原创 2019-12-06 17:33:10 · 1253 阅读 · 0 评论 -
Pytorch全连接网络
本篇开始学习搭建真正的神经网络,前一部分讨论深度学习中预处理数据的基本流程;后一部分构建了两种全连接网络,用三种不同方案拟合时序数据;并在例程中详细分析误差函数,优化器,网络调参,以及数据反向求导的过程。数据预处理本篇使用航空乘客数据AirPassengers.csv,其中包括从1949-1960年每月旅客的数量,程序则用于预测未来几年中每月的旅客数量,数据可从以下Git项目中下载。h...原创 2019-11-29 19:55:34 · 5604 阅读 · 0 评论 -
Pytorch_数据基础
机器学习需要掌握数据处理工具Pandas、Numpy,同理,深度学习也需要掌握相应的数据处理工具,在Pytorch中数据存储在张量Tensor和变量Variable之中,本篇将介绍它们的基本用法以及与之相关的常用函数。掌握必要的基础知识,让后期看代码更加流畅,避免陷入太多细节。Tensor 张量Tensor用于表示矩阵(多维数据),类似Numpy的ndarray,不同的是,可以使用GP...原创 2019-11-28 16:50:29 · 295 阅读 · 0 评论 -
Pytorch初探
什么是PytorchFacebook的Pytorch和Google 的TensorFlow一样,也是一款深度学习库,TensorFlow主要应用于工业生产领域之中,GitHub上的深度学习工具也多基于TensorFlow;而Pytorch在研究领域被广泛使用,越来越多的论文和新技术都基于Pytorch开发。工业场景比研究领域相对置后,且近年来Pytorch的研究论文有逐渐增加的趋势,随着前...原创 2019-10-24 17:56:12 · 574 阅读 · 0 评论