PyTorch深度学习（29）Pytorch code importance content

已于 2022-10-30 17:04:39 修改
阅读量1.3k 收藏 2
点赞数 2
分类专栏： python 深度学习 Pytorch 文章标签： 深度学习 pytorch 人工智能
于 2022-10-30 17:04:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangyangll/article/details/127601586
版权
python 同时被 3 个专栏收录
60 篇文章 4 订阅
订阅专栏
深度学习
43 篇文章 16 订阅
订阅专栏
Pytorch
34 篇文章 7 订阅
订阅专栏

Pytorch 代码重要内容

1、pytorch-msssim

pip install pytorch-msssim 安装使用ssim计算结构相似性损失

2、torch

torch.seed()  设置随机种子后，每次运行文件输出结果都一样，而不是每次随机函数生成的结果一样  
torch.manual_seed() 设置CPU生成随机数的种子，方便下次复现实验结果  

torch.squeeze()  对数据的维度进行压缩，去掉维数为1的维度，参数为在哪个地方加维度 -1是在最后一个维度处加维度，0为在第一个维度处加维度  
torch.unsqueeze() 对数据维度进行扩充  

torch.stack  在指定维度对元素叠加  

等待当前设备上所有流中的所有核心完成  
pytorch中，程序的执行是异步的  等待GPU上所有任务都完成  
torch.cuda.synchronize()

3、numpy

numpy不能读取CUDA tensor 需要将它转化为 CPU tensor

xxx.data.numpy() --> xxx.data.cpu().numpy()

4、operation

from torch.optim import Adam, lr_scheduler
lr_scheduler  
· step：学习率调整步长,每经过step_size学习率更新一次  
· gamma：学习率调整倍数  
· last_epoch:上一个epoch数，用于指示学习率是否需要调整，当last_epoch符合设定的间隔时就会调整学习率。当设置为-1时，学习率设置为初始值。  

5、matplotlib

matplotlib.use('agg') 控制绘图不显示  

6、nn.module

m.weight.data.normal_ 设置模型权重值和偏置值  
m.bias.data.normal_  
m.weight.data.fill_(1) 模型参数初始化1  
m.bias.data.zero_()  模型参数初始化为0   

7、遇到问题

1、plt显示灰度图出现Invalid shape问题

问题背景：tensorflow2.0.0中的Dataset转换为numpy，利用matplotlib进行显示。data的维度为[4, 256, 256, 1]

2、问题：'int' object has no attribute 'value'

可能是tensorflow版本的问题
解决方法: 将in_channels = inputs.shape[-1].value改为 in_channels = inputs.shape.as_list()[-1]
或者直接将 .value 去掉试试

3、问题：Tensorflow加载模型报错 Cannot assign a device for operation...

config = tf.ConfigProto(allow_soft_placement=True)
 with tf.Session(config=config) as sess:
     saver.restore(sess, "model-xxxx")

4、问 题：''tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[?]'' 错误分析

这是tensorflow 一个经常性错误，错误的原因在于：显卡内存不够。
解决方法就是降低显卡的使用内存，途径有以下几种措施:

  1. 减少Batch 的大小
  2. 分析错误的位置，在哪一层出现显卡不够，比如在全连接层出现的，则降低全连接层的维度，把2048改成1042啥的
  3. 增加pool 层，降低整个网络的维度。
  4. 修改输入图片的大小

imshow cmap 
'Accent', 'Accent_r', 'Blues', 'Blues_r', 'BrBG', 'BrBG_r', 'BuGn', 'BuGn_r', 'BuPu', 'BuPu_r', 'CMRmap', 'CMRmap_r', 'Dark2', 'Dark2_r', 'GnBu', 'GnBu_r', 'Greens', 'Greens_r', 'Greys', 'Greys_r', 'OrRd', 'OrRd_r', 'Oranges', 'Oranges_r', 'PRGn', 'PRGn_r', 'Paired', 'Paired_r', 'Pastel1', 'Pastel1_r', 'Pastel2', 'Pastel2_r', 'PiYG', 'PiYG_r', 'PuBu', 'PuBuGn', 'PuBuGn_r', 'PuBu_r', 'PuOr', 'PuOr_r', 'PuRd', 'PuRd_r', 'Purples', 'Purples_r', 'RdBu', 'RdBu_r', 'RdGy', 'RdGy_r', 'RdPu', 'RdPu_r', 'RdYlBu', 'RdYlBu_r', 'RdYlGn', 'RdYlGn_r', 'Reds', 'Reds_r', 'Set1', 'Set1_r', 'Set2', 'Set2_r', 'Set3', 'Set3_r', 'Spectral', 'Spectral_r', 'Wistia', 'Wistia_r', 'YlGn', 'YlGnBu', 'YlGnBu_r', 'YlGn_r', 'YlOrBr', 'YlOrBr_r', 'YlOrRd', 'YlOrRd_r', 'afmhot', 'afmhot_r', 'autumn', 'autumn_r', 'binary', 'binary_r', 'bone', 'bone_r', 'brg', 'brg_r', 'bwr', 'bwr_r', 'cividis', 'cividis_r', 'cool', 'cool_r', 'coolwarm', 'coolwarm_r', 'copper', 'copper_r', 'cubehelix', 'cubehelix_r', 'flag', 'flag_r', 'gist_earth', 'gist_earth_r', 'gist_gray', 'gist_gray_r', 'gist_heat', 'gist_heat_r', 'gist_ncar', 'gist_ncar_r', 'gist_rainbow', 'gist_rainbow_r', 'gist_stern', 'gist_stern_r', 'gist_yarg', 'gist_yarg_r', 'gnuplot', 'gnuplot2', 'gnuplot2_r', 'gnuplot_r', 'gray', 'gray_r', 'hot', 'hot_r', 'hsv', 'hsv_r', 'inferno', 'inferno_r', 'jet', 'jet_r', 'magma', 'magma_r', 'nipy_spectral', 'nipy_spectral_r', 'ocean', 'ocean_r', 'pink', 'pink_r', 'plasma', 'plasma_r', 'prism', 'prism_r', 'rainbow', 'rainbow_r', 'seismic', 'seismic_r', 'spring', 'spring_r', 'summer', 'summer_r', 'tab10', 'tab10_r', 'tab20', 'tab20_r', 'tab20b', 'tab20b_r', 'tab20c', 'tab20c_r', 'terrain', 'terrain_r', 'turbo', 'turbo_r', 'twilight', 'twilight_r', 'twilight_shifted', 'twilight_shifted_r', 'viridis', 'viridis_r', 'winter', 'winter_r' 

8、命令行

 （1）、下载anaconda，并安装

在Anaconda目录中，打开Anaconda Prompt

分别输入python    及    conda
进入anaconda安装文件夹，同时按住shift和右键，打开Powershell窗口
输入jupyter notebook，如打不开，则需要复制 or copy and paste one of these URLs下的网址链接
new——> Python3    shift+enter键可运行代码

（2）、安装pytorch环境

conda create -n pytorch python=3.8 

（3）、安装环境后，切换环境 

conda activate pytorch
查看环境中的包列表
pip list


pytorch官网
https://pytorch.org/
NV显卡支持cuda
https://www.geforce.cn/hardware/technology/cuda/supported-gpus


cmd
nvidia-smi  查看驱动是否满足（需要终端以 管理员身份运行）  查看显卡驱动中的CUDA版本


https://blog.csdn.net/zzq060143/article/details/88042075
1、首先是添加清华镜像channel
2、安装的指令，主要是把官网指令后面的-c pytorch删掉，-c pytorch的意思是，
安装下载的channel强制为pytorch官网的channel。所以需要删除才能走清华镜像的channel

清华源安装
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
# reference
# https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

（4）、最后执行安装pytorch的命令即可  安装pytorch命令行

conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge
执行上方命令后即安装了torch，不需要再次安装

（5）、安装成功后运行python，进入python命令台

输入import torch，如果出现缺少包的情况，则pip install xxx   例如：pip install numpy

torch.cuda.is_available()——>输出：true    cude安装成功

9、相关命令 

Python文件：代码以块为一个整体运行，Python文件的块是所有行的代码
优点：通用，传播方便，适用于大型项目
缺点：需要从头运行
Python控制台：以任意行为块运行
优：显示每个变量属性  缺：不利于代码阅读及修改
Jupyter：以任意行为块进行
优：利于代码阅读及修改  缺：环境需要配置

（1）安装、创建命令 

pip install opencv-python    安装cv2包

pip install tensorboard        安装tensorboard （x轴步长,y轴值）
tensorboard --logdir=logs  事件文件所在文件夹名称
tensorboard --logdir=logs --port=6007  修改端口为6007


Settings——Editor——General——Code Completion代码补全——Match case匹配大小写

Ctrl + O  重写方法    ctrl+l 实现方法

conda create -n pytorch python=3.8         创建环境

conda update -n base -c defaults conda    更新conda

（2）查看conda中环境

conda env list    conda环境列表
conda info --envs    查看环境
conda remove --name env_name --all  删除环境
conda remove --name env_name package_name  删除环境中某个包
conda deactivate 环境名    关闭环境

python -m pip install --upgrade pip    更新pip

python --version  查看python版本

pip install -U numpy    升级numpy

安装tensorflow GPU版本（使用源下载速度更快）
pip install tensorflow-gpu -i https://pypi.doubanio.com/simple  默认安装的是2.6.0版本

pip uninstall tensorflow tensorflow-gpu    卸载tensorflow
pip install tensorflow-gpu==2.4.0 -i https://pypi.doubanio.com/simple 

（3）使用 PyTorch 查看 CUDA 和 cuDNN 版本

import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version())

conda config --remove-key channels    恢复Anaconda源为默认

（4）查看tensorflow版本及是否是gpu版本

import tensorflow as tf
tf.__version__        # 此命令为获取安装的tensorflow版本
print(tf.__version__) # 输出版本
tf.test.is_gpu_available()

from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())

缺失cudnn64_7.dll文件
安装了cudnn8.0以上版本以后，有时会出现报错Could not load dynamic library ‘cudnn64_7.dll’; dlerror: cudnn64_7.dll not found。这是因为cudnn8.0以上缺失cudnn64_7.dll文件。
解决方法：把C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin文件夹下的‘cudnn64_8.dll’复制一份并命名为为‘cudnn64_7.dll。’

（5）cmd中

where python     python的存放目录
where ipython    python交互工具
where pip               pip的位置目录

pip install cupy-cuda110
pip install cupy-cuda110==7.8.0
conda create -n chainer python==3.7
conda install -c conda-forge cupy cudatoolkit=10.1
python import cupy
pip install chainer
python  print(chainer.backends.cuda.available)  print(chainer.backends.cuda.cudnn_enabled)

import chainer
chainer.backends.cuda.available

 10、将py文件打包为exe文件

pip install pyinstaller  
如果比较慢可以换清华源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller  

执行打包命令：pyinstaller -F xx/xx/xx.py  
备注：如果是根目录下的.py文件，无需设置目录  

最后，生成的exe文件会在dist文件夹中，同时生成有build文件夹  

想打包为独立单一的.exe文件，使用-F参数  
pyinstaller -F myscript.py  

默认生成的执行文件执行时，会弹出一个命令行的窗口，如果不需要弹出，可以再加个-w参数  
pyinstaller -F -w myscript.py  

pyInstaller -F -w -p /dir1/;/dir2/ -i /dir3/icon.ico ***.py

**遇到问题**  
ModuleNotFoundError  
**重点：需要打包引入自定义库文件夹的父类文件夹**  
**主程序所在文件目录下进行打包**

默认模块：会在site-packages  
自己指定的目录：通过-P DIR DIR为需要的模块路径  如pyinstaller -F -w -p DIR myscript.py  
多个模块路径：pyinstaller -p DIR1:DIR2:DIR3 myscript.py或pyinstaller -p DIR1 -p DIR2 -p DIR3 myscripy.py  
就用分号隔开如：pyinstaller -F -p E:\python\clpicdownload\venv\Lib\site-packages;E:\python\clpicdownload\venv\Lib\site-packages mypython.py

有时候并不是找不到模块，而是代码中有些模块是隐含导入的，这样的话就需要指出这些模块，才能正确的打包，可以在命令行打包时使用参数--hidden-import MODULENAME指定模块名，或者可以在打包后生成的myscript.spec文件中修改，该文件中有个参数hiddenimports=[]

配置为：
hiddenimports=['cython','sklearn','sklearn.ensemble','sklearn.tree._utils','scipy._lib.messagestream']
然后再运行以下命令
pyinstaller myscript.spec

JYliangliang
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MS-SSIM算法代码
12-11
The structural similarity image quality paradigm is based on the assumption that the human visual system is highly adapted for extracting structural information from the scene, and therefore a measure of structural similarity can provide a good approximation to perceived image quality. This paper proposes a multi-scale structural similarity method, which supplies more flexibility than previous single-scale methods in incorporating the variations of viewing conditions. We develop an image synthesis method to calibrate the parameters that define the relative importance of different scales. Experimental comparisons demonstrate the effectiveness of the proposed method.
基于PyTorch实现图像去模糊-学习
OceanEyes.GZY的博客
11-20 204
基于PyTorch实现图像去模糊-学习 任务描述 相机的抖动、快速运动的物体都会导致拍摄出模糊的图像，景深变化也会使图像进一步模糊。 对于传统方法来说，要想估计出每个像素点对应的 “blur kernel” 几乎是不可行的。因此，传统方法常常需要对模糊源作出假设，将 “blur kernel” 参数化。显然，这类方法不足以解决实际中各种复杂因素引起的图像模糊。 卷积神经网络能够从图像中提取出复...
PyTorch安装与基本使用详解
12-17
什么要学习PyTorch? 有的人总是选择,选择的人最多的框架,来作为自己的初学框架,比如Tensorflow,但是大多论文的实现都是基于PyTorch的,如果我们要深入论文的细节,就必须选择学习入门PyTorch 安装PyTorch 一行命令即可 官网 pip install torch===1.6.0 torchvision===0.7.0 - https://download.pytorch.org/whl/torch_stable.html 时间较久,耐心等待 测试自己是否安装成功 运行命令测试 import torch x = torch.rand(5,3) print(x
pytorch-msssim:适用于pytorch的快速且可区分的MS-SSIM和SSIM
04-30
pytorch MS-SSIM 适用于pytorch 1.0+的快速且可区分的MS-SSIM和SSIM 结构相似度（SSIM）： 多尺度结构相似性（MS-SSIM）： 更新 2020.08.21 （v0.2.1） 3D图像支持！ 2020.04.30 （v0.2） 现在（v0.2）， ssim和ms-ssim的计算方法与tensorflow和skimage相同。 基准（pytorch-msssim，tensorflow和skimage）可以在“测试”部分中找到。 安装 pip install pytorch-msssim 用法 计算将与输入图像在同一设备上。 1.基本用法 from pytorch_msssim import ssim , ms_ssim , SSIM , MS_SSIM # X: (N,3,H,W) a batch of non-negative RGB i
Pytorch深度学习入门与实战课程
09-13
给大家分享一套课程——《Pytorch深度学习入门与实战》，2022年7月最新升级完整版25章，课程包升级。课程配套有完整的代码+课件+数据集下载。 Pytorch深度学习入门与实战课程是一套系统实战课程，结合了超多的经典实例，比如：图像定位实例、Unet语义分割实例、LinKnet图像语义分割实例、经典四种天气分类实例、文本分类实例、循环神经网络、Tensorboard可视化等等。
基于python实现SSIM和MSSSIM
qq_39377134的博客
01-08 7512
因为我们使用的图片是一些特殊的格式导致git上或者matlab的代码不适用，所以写了简易的使用python实现的SSIM和MSSSIM计算。 计算SSIM主要使用skimage.measure的库函数和pytorch中的平均池化函数，因为自己写的怕错，哈哈哈 下面是代码 因为使用了pytorch，所以我就需要将图片和丈量之间进行转化，下面先给出转化的函数。 import os import num...
基于pytorch计算ssim和ms-ssim
qq_39377134的博客
11-02 1万+
使用pytorch计算两组图片的ssim和ms-ssim 首先是SSIM和MS-SSIM类（ssim.py） import torch import torch.nn.functional as F def _fspecial_gauss_1d(size, sigma): coords = torch.arange(size).to(dtype=torch.float) coor...
基于pytorch 的psnr和ssim计算
tony365的博客
01-03 983
【代码】基于pytorch 的psnr和ssim计算。
PyTorch深度学习（20）网络结构DenseNet
JYliangliang的博客
02-24 1983
一、网络结构 1、DenseNet网络结构 2、密集块及卷积层数据 二、代码详情 1、网络代码 import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import fusion_strategy # 卷积层 class ConvLayer(torch.nn.Module): def __init__(self, in_channels, out..
pytorch超级详细的安装教程
热门推荐
于笨笨的博客
05-04 9万+
pytorch超级详细的安装教程 第一次安装的时候安装了差不多有一整天，还安装失败了。这次安装的速度很快。 首先是Anaconda的下载，我用的是上学期学python的时候老师之前给的安装包，很快就安装好了，或者去官网去下载Anaconda也挺快，链接如下： Anaconda官网 其次是Anaconda安装，整个下载过程都是一路next，我只是把下载的路径改变了一下。默认路径是C盘，我调整到了其他盘。 安装完整后，在看是菜单处看到新添加的东西 打开这个Anaconda Prompt应用进入之后是以（bas
ms_ssim_pytorch:使用pytorch jit的快速ssim和ms-ssim实现代码
05-28
ms_ssim_pytorch 该代码是从修改的。 部分代码已被修改以使其更快，占用更少的VRAM并与pytorch jit兼容。 动态频道版本可以在这里找到。 使用起来更方便，但性能损失很小。 感谢找到并修复了ms_ssim向后移动时会导致梯度nan的错误。 如果您使用的是pytorch 1.2，请注意不要在训练循环中创建和销毁该jit模块（其他jit模块也可能会出现这种情况），这可能会导致内存泄漏。 我已经测试过pytorch 1.6没有这个问题。 我研究了piqa库的 ，这使我实现ssim和ms-ssim的速度比以前快了一些。 加速。 仅在GPU上测试。 losser1是 268fc76 losser2是 881d210 losser3是 5caf547 losser4是 1c2f14a losser5是 abaf398 abaf398 在pytorch 1.7.
PyTorch深度学习代码及数据PyTorch深度学习代码及数据
最新发布
03-01
PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据...
2024年度最新PyTorch深度学习实践
03-01
2024年度最新PyTorch深度学习实践2024年度最新PyTorch深度学习实践2024年度最新PyTorch深度学习实践2024年度最新PyTorch深度学习实践2024年度最新PyTorch深度学习实践2024年度最新PyTorch深度学习实践 2024年度最新...
pytorch深度学习入门与简明实战教程2022
10-05
2.深度学习基础与线性回归实例 3.pytorch张量 4.逻辑回归与多层感知机 5.多分类问题 6.手写数字全连接模型 7.基础部分总结 8.计算机视觉基础 9.预训练模型(迁移学习) 10.Dataset数据输入 11.现代网络架构 12.图像...
PyTorch深度学习实践_pytorch_深度学习_
10-01
pytorch深度学习实践，深度学习实践入门，内附pdf，代码。
PyTorch深度学习（13）PyTorch Torch Vision python 版本对应
JYliangliang的博客
10-30 3万+
pytorch，torchvision，python 版本对应 pytorch，torchvision，python 三者的对应关系来源于 pytorch 官方 github，链接：https://github.com/pytorch/vision#installation 创建并进入虚拟环境 创建一个虚拟环境，其中 pt 是自定义虚拟环境名称，另外根据踩坑经验 python 3.6.5 版本可以适配所有版本的 pytorch，建议创建环境时 python 解释器版本选择 3.6.5 版本。
Python Django Pycharm 创建并运行django项目
JYliangliang的博客
01-22 1万+
一、配置并准备你的环境 1、首先，在设置里面选择好环境,这里我们使用python3.7（Ps：打开pycharm后—>File—>settings—>键入 Project Interpreter），点击如下图所示的齿轮后出现Add。 2、添加设置你自己安装的 python 后点击 OK 3、我们会看到现在都有什么东西，然后点击加号，下载django包。 ...
PyTorch深度学习（25）网络结构ConvNeXt
JYliangliang的博客
04-02 5877
ConvNeXt 论文地址：https://arxiv.org/abs/2201.03545 一、改进点 随着技术的不断发展，各种新的架构及优化策略促使Transformer拥有更好的效果 相同策略训练卷积神经网络 以ResNet-50为基准 1、Macro design （1）Swin-T的比例是1：1：3：1 Swin-L的比例是1：1：9：1 堆叠次数由(3, 4, 6, 3)调整为(3, 3, 9, 3) （2）最初的下采样模块为stem，例如ResNet中stem是7×7卷积核3×3.
数据挖掘 (1) 基础篇
JYliangliang的博客
03-19 4940
主要使用库 numpy：提供数组支持，以及相应高效的处理函数 scipy：提供矩阵支持，以及矩阵相关的数值计算模块 matplotlib：强大的数据可视化工具，作图库 pandas：强大、灵活的数据分析和搜索工具 StateModels：统计建模和计量经济学，包括描述统计、统计模型估计和推断 Scikit-Learn：支持回归、分类、聚类等强大的机器学习库 Keras：深度学习库，用于建立神经网络以及深度学习模型 Gensim：用来做文本主题模型的库，文本挖掘可能用到 图片处理用Pillow 视频处理O.
pytorch深度学习教程
08-17
对于PyTorch深度学习教程，CSDN上有很多优质的资源可以供您学习。您可以在CSDN中搜索相关的教程和文章，以下是一些经典的教程推荐： 1. PyTorch官方文档：PyTorch官方提供了详细的文档和教程，从基础到高级内容都有涉及，适合初学者和进阶者。 2. CSDN博客：在CSDN上，很多作者分享了自己的PyTorch深度学习教程和经验，您可以搜索关键词"PyTorch深度学习教程"来找到适合您的文章。 3. 网上视频教程：一些在线教育平台（如慕课网、腾讯课堂等）上有很多PyTorch深度学习的视频教程，您可以选择适合自己的学习方式。 4. GitHub上的开源项目：在GitHub上有很多开源的PyTorch深度学习项目，您可以通过学习和实践这些项目来提升自己的技能。 希望以上资源能够帮助您学习PyTorch深度学习，祝您学习顺利！如果您还有其他问题，可以继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值