python代码问题总结

---

1.问题解决：pycharm debug断点调试时遇到Pycharm DataLoader会卡死（num_works参数 多进程的坑点）

• 把DataLoader中的参数num_workers 设为 0即可

https://blog.csdn.net/qq_43827595/article/details/113187052

---

2.pycharm 进行远程服务器代码的编写与调试

参考链接：
https://www.cnblogs.com/superjn/p/8624605.html

3.使用Conv2D时，内核大小可能是1或2个尺寸，以及原因是什么？

https://blog.csdn.net/qq_26369907/article/details/88366147
https://www.5axxw.com/questions/content/815xpy

4.Pytorch中contiguous()函数理解

• 在pytorch中，只有很少几个操作是不改变tensor的内容本身，而只是重新定义下标与元素的对应关系的。换句话说，这种操作不进行数据拷贝和数据的改变，变的是元数据。
• 就是深拷贝，而已。

https://blog.csdn.net/kdongyi/article/details/108180250

5.3x3xc卷积的每个通道的九个参数一样吗？

• 不一样

https://zhuanlan.zhihu.com/p/251068800

6.nn.conv1d？

• nn.Conv1d(in_channels,out_channels,kernel_size,stride,padding,dilation,groups,bias)
  一维卷积，这里的一维不仅代表在一个维度上进行卷积，而且代表卷积的方向为一维
  接口内的参数：

• in_channels：NLP任务中代表词向量的维度

• out_channels：卷积产生的通道数，out_channels==卷积核的数量

• kernel_size：卷积核尺寸，卷积核大小==(k,in_channels)，这里卷积核的第二维度等于-in_channels

• padding：输入的每一条边，补充0的层数

import torch.nn as nn
 
conv1=nn.Conv1d(in_channels=256,out_channels=100,kernel_size=2)
input=t.randn(32,35,256)    # 32--batch_size，35--sentence_length,256--embedding_dim
##输入的维度是：B,C,N
input=input.permute(0,2,1) # 一维卷积方向，只在宽度上卷积（高度是字向量维度），交换最后两个维度
out=conv1(input)    # 32 x 100 x (35-2+1)
print(out.size())
 
#输出
torch.Size([32, 100, 34])

注：输入-B,C,N ；输出-B,C2,N

参考链接：
https://blog.csdn.net/weixin_38664232/article/details/104464247

7.PyTorch的nn.Linear（）

PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：

in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。
out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。
从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。

import torch as t
from torch import nn

# in_features由输入张量的形状决定，out_features则决定了输出张量的形状 
connected_layer = nn.Linear(in_features = 64*64*3, out_features = 1)
# 假定输入的图像形状为[64,64,3]
input = t.randn(1,64,64,3)
# 将四维张量转换为二维张量之后，才能作为全连接层的输入
input = input.view(1,64*64*3)
print(input.shape)
output = connected_layer(input) # 调用全连接层
print(output.shape)

原文：
https://blog.csdn.net/qq_42079689/article/details/102873766

8.nn.conv2d？

• nn.Conv2d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True)
• 输入和输出格式：
  
  https://blog.csdn.net/bigFatCat_Tom/article/details/91619977

9.pytorch中BatchNorm1d、BatchNorm2d？

• nn.BatchNorm1d(num_features)-----注意第二维操作

   1.对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作
   2.num_features：
          来自期望输入的特征数，该期望输入的大小为'batch_size x num_features [x width]'
          意思即输入大小的形状可以是'batch_size x num_features' 和 'batch_size x num_features x width' 都可以。
          （输入输出相同）
          输入Shape：（N, C）或者(N, C, L)
          输出Shape：（N, C）或者（N，C，L）
  
    eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
    momentum：动态均值和动态方差所使用的动量。默认为0.1。
    affine：一个布尔值，当设为true，给该层添加可学习的仿射变换参数。
  3.在每一个小批量（mini-batch）数据中，计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量（C为输入大小）
       在训练时，该层计算每次输入的均值与方差，并进行移动平均。移动平均默认的动量值为0.1。
       在验证时，训练求得的均值/方差将用于标准化验证数据。 
  

• nn.BatchNorm2d(num_features)----注意第二维

   1.对小批量(mini-batch)3d数据组成的4d输入进行批标准化(Batch Normalization)操作
   2.num_features： 
             来自期望输入的特征数，该期望输入的大小为'batch_size x num_features x height x width'
             （输入输出相同）
                 输入Shape：（N, C，H, W)
                 输出Shape：（N, C, H, W）
       eps： 为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
       momentum： 动态均值和动态方差所使用的动量。默认为0.1。
       affine： 一个布尔值，当设为true，给该层添加可学习的仿射变换参数。
   3.在每一个小批量（mini-batch）数据中，计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量（C为输入大小）
    在训练时，该层计算每次输入的均值与方差，并进行移动平均。移动平均默认的动量值为0.1。
    在验证时，训练求得的均值/方差将用于标准化验证数据。
  

参考：
https://www.jianshu.com/p/6358d261ade8

10.pytorch topk 保持维度和位置 置零,实现mask功能?

import torch
import numpy as np
if __name__ == "__main__":
    x=torch.tensor(np.arange(1,25)).reshape(2,3,4)
    print(x)
    # k=2表示选择两个最大值
    a,_=x.topk(k=2,dim=2)
    # 要加上values，否则会得到一个包含values和indexs的对象
    a_min=torch.min(a,dim=-1).values
    # repeat里的4和x的最后一维相同
    a_min=a_min.unsqueeze(-1).repeat(1,1,4)
    ge=torch.ge(x,a_min)
    # 设置zero变量，方便后面的where操作
    zero=torch.zeros_like(x)
    result=torch.where(ge,x,zero)
    print(result)

输出是：

# 原矩阵
tensor([[[ 1,  2,  3,  4],
         [ 5,  6,  7,  8],
         [ 9, 10, 11, 12]],

        [[13, 14, 15, 16],
         [17, 18, 19, 20],
         [21, 22, 23, 24]]], dtype=torch.int32)
# 每个维度只保留两个最大值
tensor([[[ 0,  0,  3,  4],
         [ 0,  0,  7,  8],
         [ 0,  0, 11, 12]],

        [[ 0,  0, 15, 16],
         [ 0,  0, 19, 20],
         [ 0,  0, 23, 24]]], dtype=torch.int32)

https://blog.csdn.net/weixin_37763484/article/details/114109148

11.PyTorch——自注意力（self-attention）机制实现（代码详解）

https://blog.csdn.net/beilizhang/article/details/115282604

12.with torch.no_grad() 减少显存

模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作。
今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference，这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。加了之后，用了不过3G显存就够了。确实inference不需要那么多显存的，以后记着这种不正常现象如何处理。

一般训练不爆显存，测试也不会爆；训练时的显存占用远多于inference
注：验证集和测试集都要！！！！！！！！

• 修改前

  for train_data, train_label in  train_dataloader:
  
      do 
  
             trainning
  
  then
  
  for valid_data,valid_label in valid_dataloader:
  
      do 
  
              validtion
  

• 修改后：

  for train_data, train_label in train_dataloader:
  
          do
  
              trainning
  
  
  
  then
  
  with torch.no_grad():
  
      for valid_data,valid_label in valid_dataloader:
  
              do
  
                  validtion
  
  

https://www.jianshu.com/p/e8b9c59274a7
https://wstchhwp.blog.csdn.net/article/details/108405102?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link

13.实时监控GPU显存

watch nvidia-smi

14.torch.manual_seed(seed) → torch._C.Generator

• 参数
  seed (int) – CPU生成随机数的种子。取值范围为[-0x8000000000000000, 0xffffffffffffffff]，十进制是[-9223372036854775808, 18446744073709551615]，超出该范围将触发RuntimeError报错

• 返回
  返回一个torch.Generator对象。

• 示例（设置随机种子）

  # test.py
  import torch
  torch.manual_seed(0)
  print(torch.rand(1)) # 返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数
  
  

  每次运行test.py的输出结果都是一样：

  tensor([0.4963])
  

• 示例（没有设置随机种子）

  import torch
  
  print(torch.rand(1)) # 返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数
  

  每次运行test.py的输出结果都不相同：

  tensor([0.2079])
  ----------------------------------
  tensor([0.6536])
  ----------------------------------
  tensor([0.2735])
  

  https://blog.csdn.net/qq_42951560/article/details/112174334?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242.2

15.numpy.amin

• 结果为每一行的最小值，可以使得所有值为正

  >>> a = np.arange(4).reshape((2,2))
  >>> a
  array([[0, 1],
         [2, 3]])
  >>> np.amin(a)           # Minimum of the flattened array
  0
  >>> np.amin(a, axis=0)   # Minima along the first axis
  

16.valueError: Unable to determine SOCKS version from socks://127.0.0.1:1080/”

在终端中输入：

unset all_proxy && unset ALL_PROXY
export all_proxy="socks5://127.0.0.1:1080"

17.linux下conda安装opencv？

• 比较坑的一点：conda install opencv,安装成功了，但是import cv2一直失败，查看conda list，确实安装了3.4.1版本，虚拟环境：python=3.6
• 解决：重新创建虚拟环境，python=3.7，然后conda install opencv即可，默认版本3.4.2
• 注：原来是python版本导致的，或者3.4.1版本导致的

18.python语法…

• …的使用

  Numpy 中可以用来选数据
  
  >>> import numpy as np
  
  >>> a = [[1,2,3,4,5,6,7],[8,9,10,11]]
  
  >>> b = np.array(a)
  
  >>> b[1,...]
  
  array(list([8, 9, 10, 11]), dtype=object)
  
  这个看不出什么特殊性来。换一个稍微复杂点的。
  
  >>> d = np.array([[[i + 2*j + 8*k for i in range(3)] for j in range(3)] for k in range(3)])
  
  >>> d
  
  array([[[ 0, 1, 2],
  
  [ 2, 3, 4],
  
  [ 4, 5, 6]],
  
  [[ 8, 9, 10],
  
  [10, 11, 12],
  
  [12, 13, 14]],
  
  [[16, 17, 18],
  
  [18, 19, 20],
  
  [20, 21, 22]]])
  
  >>> d[1,...]
  
  array([[ 8, 9, 10],
  
  [10, 11, 12],
  
  [12, 13, 14]])
  
  >>> d[...,1]
  
  array([[ 1, 3, 5],
  
  [ 9, 11, 13],
  
  [17, 19, 21]])
  
  >>> d[1,...,1]
  
  array([ 9, 11, 13])
  
  >>>
  

  注：可见是从不同的维度上选数据。
  https://blog.csdn.net/weixin_39630106/article/details/109930171

19.visio插入数学公式

• 1.打开word，插入数学公式
• 2.复制
• 3.在visio中右击—选择性黏贴—Microsoft word文档
• 4.最后还可使用Ctrl+G将框图和公式组合到一起，这样移动时两个一起移动，更方便些。

19.1 将word中编辑好的公式复制到Visio中出现乱码问题？

在Visio（点击 选项 --> 高级 --> 显示 ->勾选禁用增强元文件优化）

20.SharedArray.create 导致 tmpfs 100%

/dev/shm 默认大小为物理内存的一半，如果需要调整大小，可以修改 /etc/fstab

# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
devtmpfs                devtmpfs  2.0G     0  2.0G   0% /dev
tmpfs                   tmpfs     2.0G   52K  2.0G   1% /dev/shm
tmpfs                   tmpfs     2.0G  9.0M  2.0G   1% /run
tmpfs                   tmpfs     2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/mapper/centos-root xfs        47G   20G   28G  42% /
/dev/sda1               xfs      1014M  161M  854M  16% /boot
tmpfs                   tmpfs     396M   12K  396M   1% /run/user/42
tmpfs                   tmpfs     396M     0  396M   0% /run/user/0

sudo -i password
vi /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults,size=2560M        0 0

最后重启即可，然后利用df -lh命令查看

https://blog.csdn.net/ctypyb2002/article/details/107914643

21.pytorch计算flops和paramas

1、安装Thop

pip install thop

2、代码使用
1)直接输出

import thop
from thop import profile
# 定义好的网络模型
input = torch.randn(1, 3, 224, 224)
flops, params = profile(Model,inputs=(input, ))
print('flops: ', flops, 'params: ', params)

这样的直接输出会让数据可比较性很弱，还需要自己转化单位【有点麻烦，不太推荐！】

2）使用thop.clever_format

from thop import clever_format
# 定义好的网络模型
input = torch.randn(1, 3, 224, 224)
flops, params = profile(Model,inputs=(input, ))
flops, params = clever_format([flops, params], "%.3f")  #这个就是与上面的差异哈！！！
print('flops: ', flops, 'params: ', params)

加上这样简单的一句话后，真的输入结果看上去太舒服了。

原文链接：https://blog.csdn.net/qq_37844044/article/details/119644941

22.PyCharm远程运行调试代码

https://zhuanlan.zhihu.com/p/38591832

23.subprocess.CalledProcessError: Command ‘[‘ninja’, ‘-v’]’ returned non-zero exit status 1.

问题：

Traceback (most recent call last):
  File "/.../lib/python3.6/site-packages/torch/utils/cpp_extension.py", line 949, in _build_extension_module
    check=True)
  File "/.../lib/python3.6/subprocess.py", line 438, in run
    output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1.

解决：…/lib/python3.6/site-packages/torch/utils/cpp_extension.py

即：-v 改成 --version
注：vim快速定位:/‘ninja’

24.torch.nn.CrossEntropyLoss()

https://zhuanlan.zhihu.com/p/159477597

25.F.cross_entropy()

https://blog.csdn.net/wuliBob/article/details/104119616

26.pytorch|optimizer与学习率

https://lhyxx.top/2020/02/11/pytorch-optimizer%E4%B8%8E%E5%AD%A6%E4%B9%A0%E7%8E%87/

27.without bells and whistles 深度学习

https://blog.csdn.net/u013249853/article/details/84786730

28.element-wise product = element-wise multiplication = Hadamard product？

含义：两个矩阵对应位置元素进行乘积

https://www.zhihu.com/question/432693995

29.迁移anaconda虚拟环境到新服务器+解决迁移后pip无法使用

1. 迁移anaconda虚拟环境到新服务器
   如果你有一个台机A不能联网，另一台机B可以联网，但需要在不能联网的A上运行代码，需要一些库。那么可以在A上离线安装Anaconda，在B上配置上虚拟环境，移动到A上。

   • 安装Ananconda，官网下载安装包，ssh传到A上并安装，同时B也应该安装好，两机anaconda安装包无需一致，但需要同类系统（Linux or Win）。

   • 在B上创建虚拟环境py36（取名随意），在虚拟环境中安装需要的库。

   • 前往B的anaconda目录，找到envs文件夹，对py36文件夹进行压缩。tar -czvf py36.tar.gz py3将压缩包传输到A，解压，放至anaconda/envs目录下。

2. 解决迁移后pip无法使用
   这一步完成后，基本上你需要的库都安装在A机上了，但是！如果你又加上了其他的项目，有1，2个库需要安装怎么办呢？

   • 先使用pip download <package_names>，在有网络的机子（B）上下载，库安装包，然后上传到A上。
   • 比如opencv，pip download opencv-python，得到文件opencv_python-4.2.0.32-cp36-cp36m-manylinux1_x86_64.whl上传至A。
   • 这时在A上切换虚拟环境，pip install opencv_python-4.2.0.32-cp36-cp36m-manylinux1_x86_64.whl进行安装。
   • 这里会报一个错误-bash: /home/computer_a/anaconda3/envs/torch/bin/pip: /home/computer_b/anaconda3/envs/torch/bin/python: bad interpreter: No such file or directory。这是因为A机的pip路径是拷贝过来的，还是原来B机的python路径，修改即可。
   • 方法：打开/home/computer_a/anaconda3/envs/torch/bin/pip，将第一行路径改为/home/computer_b/anaconda3/envs/torch/bin/python。

原文链接：https://blog.csdn.net/weixin_44633882/article/details/105308120

30.pip install 时报错 ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问?

在pip install 后面加上 --user + 需要安装的包名
如：pip install --user imblearn

31.Pycharm退出pytest模式（run pytest in模式）?

1.方法1：

要退出这种模式，

• 第一步：点击顶部运行键——选择‘Edit configuration’，
• 第二步：可以看到左侧Python下有两个文件夹，如果进入了test模式，就会有‘Python test’一栏，
• 第三步：选定Python test，这时点击上面的‘-’号去掉这栏下的文件即可。
• 然后确定，再次右键代码，就可以执行run模式了

2.方法二

可以进入File-settings-tools-python integrated tools里面修改，选择unittest修改后记得应用一下
参考下图:

参考链接：https://blog.csdn.net/u011318077/article/details/88090830