基于 Pytorch 的深度学习 - 学习记录

已于 2024-04-30 22:20:08 修改
阅读量1.2k 收藏 2
点赞数
文章标签： 深度学习 学习 人工智能 pytorch python
于 2023-04-15 15:38:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hg124418/article/details/129290120
版权

[仅为个人记录，不定期更新]

目录

Pytorch 记录

detach().numpy() 函数

常见于从计算图中剥离损失函数，下面是 “C知道” 的解释：

detach().numpy()函数是PyTorch中的一个函数，用于将一个Tensor从计算图中分离出来，并将其转换为一个NumPy数组。这个函数通常用于将模型输出的Tensor转换为NumPy数组，以便进行后续的处理和可视化。使用detach()函数可以避免在计算图中保留不必要的计算，从而提高计算效率。同时，使用numpy()函数可以将Tensor转换为NumPy数组，方便进行各种数学运算和可视化操作。

Tensor.scatter_() 函数

在这里插入图片描述src 中的元素，按照 index 被 scatter (可以理解为填充) 到目标 tensor 中，常用于生成 one-hot 编码。src 中每个元素的目标位置索引，除指定维度 (dimension == dim) 外，其他维度的索引不变，即只改变指定维度上的索引顺序 (按照 index) 。

模型参数量计算

pytorch 自带方法：

total = sum([param.nelement() for param in model.parameters()])

print("Number of parameter: %.2fM" % (total/1e6))

其他方法可参见：link- pytorch得到模型的计算量和参数量

网络搭建 tips

  1. 卷积层后面跟 BN 层时，根据 BN 计算的原理可知，此时设置卷积层偏置 bias 多此一举，因此不设置偏置 bias；
  2. 在一些卷积层模块中包含参数 inplace，如 nn.ReLU(inplace=True)，当 inplace（就地计算）为 True 时，将计算得到的值直接覆盖之前的值，不利用中间变量进行存储（注：产生的计算结果不会有影响，利用 inplace 计算可以节省内/显存，同时还可以省去反复申请和释放内存的时间，但是会对原变量覆盖，主要不带来错误就用）；

Python 记录

字符串 title() 函数

返回字符串的标题大小写形式，即单词的第一个字符用大写字母表示，其余所有字母用小写字母表示。

s = 'PYTHON IS GOOD!'
print(s.title())

OUTPUT: Python Is Good!

程序运行时warning警告的忽略方法

python 程序开发时，warning 通常不会影响程序运行，但会影响对其他输出的监控。
方法一：

import warnings
warnings.filterwarnings('ignore')

方法二：忽略命令行下警告错误的输出

python -W ignore yourscript.py

python 内置模块

模块1：argparse——命令行选项、参数和子命令解析器

主要有三个步骤：
1.创建 ArgumentParser() 对象
2.调用 add_argument() 方法添加参数
3.使用 parse_args() 解析添加的参数

模块2：logging——主要用于输出运行日志，可以设置输出日志的等级、日志保存路径等

相比 print，具备如下优点：
1.可以通过设置不同的日志等级，在 release 版本中只输出重要信息，而不必显示大量的调试信息；
2.print 将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging 则可以由开发者决定将信息输出到什么地方，以及怎么输出；
3.和 print 相比，logging 是线程安全的。

logging.basicConfig(**kwargs)：
使用默认格式化程序创建 StreamHandler 并将其添加到根日志记录器中，从而完成日志系统的基本配置。如果没有为根日志程序定义处理程序，debug()、info()、warning()、error()和 critical() 函数将自动调用 basicConfig()。

更换 pip 源的两种方法

Note:
3D Slicer 内置 pip_install 安装第三方库的地址：
/home/han/software/Slicer-5.4.0-linux-amd64/lib/Python/lib/python3.9/site-packages/

方式一：永久更换 pip 源

# 打开控制台或终端，并输入以下命令：
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 输出：Writing to /home/han/.config/pip/pip.conf
# 更改 pip 源后，可以通过以下命令验证：
pip config get global.index-url

方式二：临时使用 pip 源
输入“pip install xxx”，使用默认源；
插入国内镜像源地址：
pip install -i 镜像源地址 xxx

几个常用镜像源：
清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
阿里云：https://mirrors.aliyun.com/pypi/simple/
豆瓣：https://pypi.douban.com/simple/
中科大：https://pypi.mirrors.ustc.edu.cn/simple/
中科大：https://pypi.mirrors.ustc.edu.cn/simple/

Ubuntu 记录

临时挂载硬盘

sudo mount /dev/sda5 ./USB

文件拷贝

cp [选项] 源文件或目录 目标文件或目录
-i 交互式提示
-r 递归拷贝目录及其内容
-v 显示拷贝后的路径描述
-a 保留文件的原有权限

vim 的三种工作模式

在这里插入图片描述一些具体命令可参考：link

解决 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.

问题原因：
ubuntu 内核版本升级后，会优先使用较高的版本，ubuntu 会修改默认开机启动的内核版本（最新的）。而最新的内核版本和原来的 ubuntu 其他组件起了冲突，则导致无法连接 Nvidia 驱动了。
解决办法：

  1. 在（双）系统启动界面，进入“Ubuntu 高级选项”（如，索引为 1），查看旧版本内核的索引（如，索引为 2）；
  2. 进入系统进行如下设置：
sudo gedit /etc/default/grub
# 再将进入设置 GRUB—DEFAULT
GRUB_DEFAULT="1> 2"
# 则系统启动时会自动进入 ubuntu 高级选项，并选择进入旧版本的系统
# 保存退出后，运行如下命令更新 GRUB 配置文件
sudo update-grub
  1. 重启系统
  2. 进入 Setting 中，将 ubuntu 的软件与系统更新，设置为“从不”。

为 pycharm 创建桌面快捷方式

创建快捷方式前的程序启动方式：
终端输入

pycharm.sh

桌面快捷方式的创建步骤：

  1. 在 /usr/share/applications 文件夹下创建 pycharm.desktop 文件
sudo vim /usr/share/applications/pycharm.desktop

注意：此时若不在命令前加 sudo，则在文件退出时会弹出报错
E212: Can’t open file for writing
这个报错是由于权限问题导致的。

  1. 编辑 pycharm.desktop 文件
[Desktop Entry]
Type=Application
Name=Pycharm
GenericName=Pycharm3
Comment=Pycharm3: The Python IDE
# Exec=sh /home/XXX/software/pycharm-community-2021.3.2/bin/pycharm.sh
Exec="/home/XXX/software/pycharm-community-2021.3.2/bin/pycharm.sh" %f
Icon=/home/XXX/software/pycharm-community-2021.3.2/bin/pycharm.png
Terminal=pycharm
Categories=Pycharm;

  1. 查看是否有效
    按住 win 键，搜索 pycharm，是否出现应用图标。

  2. 将 /usr/share/applications/pycharm.desktop 复制到桌面
    右击鼠标，选择 Allow launching。完成！

其他第三方库

opencv-python

cv2.imread()

def imread(filename: Any, 
		   flags: Any = None) -> None

flags: 图像的通道和色彩信息（默认值为 1，即彩色图像）
flags = -1， 8 位深度，原通道
flags = 0， 8 位深度，1 通道
flags = 1， 8 位深度，3 通道
flags = 2， 原深度，1 通道
flags = 3， 原深度，3 通道
flags = 4， 8 位深度，3 通道

边界模式 BorderMode

在这里插入图片描述
源：link
在这里插入图片描述

Matplotlib

legend (图例) 定位方法

  1. 使用参数 loc: str or pair of floats，其内置了一些位置 (default: ‘best’)：
    在这里插入图片描述
  2. 使用参数 bbox_to_ancher: BboxBase, 2-tuple, or 4-tuple of floats，可以控制任意位置，坐标表示比例：
    在这里插入图片描述

常用资源网址

hg124418
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
神经网络-常见函数、定义
qq_58466532的博客
12-13 5690
V1只含有__iter__，而没有__next__方法,V1.__iter__方法的返回值V2内含有__iter__和__next__方法。可迭代对象(类）——只含有__iter__方法，不含__next__方法，且__iter__方法返回的是一个迭代器对象；一般都是将迭代器类（对象）、可迭代类（对象）进行混合使用： IT（）是一个迭代器类，Foo（）是一个可迭代类，Foo()的__iter__方法返回的是一个迭代器对象IT。将矩阵y改变形状，这里（a，b）前面的数(a)表示行数，后面的数(b)表示列数。
Python-基于Pytorch深度学习的食物检测与推荐营养跟踪
08-10
在本项目"Python-基于Pytorch深度学习的食物检测与推荐营养跟踪"中，我们将探讨如何利用PyTorch这一强大的深度学习框架，构建一个系统来识别食物、推荐饮食并跟踪营养摄入。PyTorch因其易用性和灵活性，在机器学习...
.detach().numpy()
weixin_44923495的博客
05-19 503
在PyTorch中，当使用autograd跟踪张量的操作历史时，有时需要从计算图中分离张量以进行进一步的计算。在这种情况下，可以使用detach()方法来创建一个新的张量，该张量与原始张量具有相同的值，但不再与计算图相关联。因此，tensor.detach().numpy()的含义是将张量分离并转换为NumPy数组。原文链接：https://blog.csdn.net/weixin_42588877/article/details/129455498。
labels.detach().numpy()，为什么numpy()之前需要datach().
dawnlighT826的博客
07-08 191
动手学深度学习《线性回归从零开始》中这里的labels是一个张量，labels.detach()将需要梯度的张量转换为一个相同内容的不需要梯度的张量。torch.tensor除了张量本身外，还存储的有计算图（computional grap),用于存储张量的计算过程和grad;而numpy不需要有计算图，因此需要将torch.tensor的计算图给去除掉。
(超详细)搭建深度学习环境【Anaconda+Pycharm+NVIDIA 显卡驱动+PyTorch(含GPU版)+CUDA+cuDNN+win10】+ 配置系统环境变量
2302_76846184的博客
04-30 3815
(超详细)搭建深度学习环境【Anaconda+Pycharm+NVIDIA 显卡驱动+PyTorch(含GPU版)+CUDA+cuDNN+win10】+ 配置系统环境变量 + YOLO跑数据集环境部署
pytorch实验trick记录
qq_37891889的博客
03-25 237
这里记录了使用pytorch进行实验的一些tricks，这些tricks来自自己的实验经验以及大佬们的经验，不断更新中 一次性保存所有实验参数并在下次加载以复现网络参数 ...
[深度学习入门].detach().numpy()含义
qq_61897765的博客
10-04 345
入门
PyTorch detach()：深入解析与实战应用
创作高质量博文，分享知识，共同进步！
02-13 3052
【🚀PyTorch detach()探秘🚀】🌟解锁PyTorch深度学习框架中的神秘函数detach()！📚本文将带您深入了解detach()的工作原理，以及其在实战中的应用场景！💪掌握detach()，让您的模型训练更加灵活高效，轻松征服复杂的数据科学挑战！🌈
Pytorch cuda上的tensor转numpy
lxb206的博客
02-09 4199
# model_out为CUDA上的tensor model_out = model_out.cpu() # detach()：去除梯度 model_out = model_out.detach().numpy()
基于PyTorch的Python深度学习实战源码
03-25
项目概述：《Python深度学习实战：基于PyTorch》 本项目采用Python语言编写，致力于提供一套完整的深度学习实战源码。项目包含总计14363个文件，其中主要包括以下类型： - Python脚本文件（.py）：79个，包含核心...
基于深度学习CNN-pytorch训练识别蝴蝶-蚂蚱等昆虫-含数据集.zip
最新发布
06-01
本代码是基于python pytorch环境安装的。 下载本代码后，有个requirement.txt文本，里面介绍了如何安装环境，...运行02深度学习模型训练.py就会将txt文本中记录的训练集和验证集进行读取训练，训练好后会保存模型在本地
基于Pytorch框架深度学习相关代码.zip
02-19
在本项目实践中，我们将深入探讨基于PyTorch框架的深度学习技术。PyTorch是Facebook开源的一个强大且灵活的深度学习库，它以其易用性和灵活性受到广大AI研究者和开发者的欢迎。这个"基于Pytorch框架深度学习相关代码...
深度学习与PyTorch入门学习教程.txt打包整理.zip
03-05
这个"深度学习与PyTorch入门学习教程.txt打包整理.zip"文件可能包含一系列教程或笔记，涵盖了以上提到的各个知识点，帮助初学者逐步掌握深度学习和PyTorch的基础。通过阅读和实践其中的内容，你将能够系统地学习和...
pytorh变量的定义和访问，detatch（）作用
weixin_43794311的博客
11-12 365
pytorch定义变量张量，detach()的作用
loss.cpu().detach().numpy()
qq_39661689的博客
09-03 9380
https://blog.csdn.net/qq_39938666/article/details/90794240
【python报错】Can't call numpy() on Variable that requires grad. Use var.detach().numpy() instead.[]
yipala的博客
11-27 1万+
脚本报错 RuntimeError:Can't call numpy() on Variable that requires grad. Use var.detach().numpy() instead. 定位出错语句 enc, dec, z, gamma = self.dagmm(input_data) img_test = dec[27:36...
pytorch .detach().cpu().numpy()
每日提升一点点
03-31 4242
tensor 和 numpy 的互相转换
热门推荐
一千零一夜的博客
09-05 2万+
为什么要相互转换： 1. 要对tensor进行操作，需要先启动一个Session,否则，我们无法对一个tensor比如一个tensor常量重新赋值或是做一些判断操作，所以如果将它转化为numpy数组就好处理了。下面一个小程序讲述了将tensor转化为numpy数组，以及又重新还原为tensor： 2. Torch的Tensor和numpy的array会共享他们的存储空间，修改一个会导致另外的一...
pytorch requires_grad 与 detach 区别 梯度传递细节 cpu gpu Variable numpy转换
心之所向
04-21 2万+
# detach将计算图中节点转为叶子节点，也就是将节点.grad_fn设置为none，这样detach的前一个节点就不会再与当前变量连接 >>> import torch >>&amp
无人机视觉检测和跟踪yolov5_deepsort_pytorch-master-newest-drone.zip
08-09
无人机视觉检测和跟踪yolov5_deepsort_pytorch-master-newest-drone.zip 是一个基于深度学习模型的无人机目标检测和跟踪工具包。它使用了YOLOv5和DeepSORT这两个先进的算法来实现对无人机进行实时监测和跟踪。下面是对该工具包的详细解释： YOLOv5是一种在计算机视觉领域非常先进的目标检测算法，它使用深度卷积神经网络来实现实时目标检测。该工具包使用YOLOv5来对图像或视频中的无人机进行快速而准确的检测和定位。 DeepSORT是一种在多目标跟踪领域非常流行的算法，它结合了深度学习和卡尔曼滤波器来实现对目标的持续跟踪。该工具包使用DeepSORT来对检测到的无人机进行跟踪，并提供准确的目标轨迹信息。 这个工具包的主要特点包括：高效的无人机检测和定位、准确的目标跟踪、实时处理能力以及易于使用的界面。使用该工具包，我们可以实时地监测无人机的位置和动态信息，同时可以对其进行跟踪和记录。这对于无人机安全监控、无人机航拍和无人机调度等应用非常有用。 值得注意的是，使用该工具包需要一定的计算资源和图像处理能力。同时，对于不同的无人机视觉场景和环境，可能需要对该工具包进行一定的参数调整和优化，以获得更好的检测和跟踪效果。 综上所述，无人机视觉检测和跟踪yolov5_deepsort_pytorch-master-newest-drone.zip 是一个强大而高效的工具包，可以实现对无人机的实时检测和跟踪。它基于YOLOv5和DeepSORT算法，提供准确的无人机定位和目标轨迹信息。同时，使用该工具包需要一定的计算资源和参数调整。对于无人机安全监控、无人机航拍和无人机调度等应用具有重要意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值