irober的博客

基于torch1.8.1 训练模型时，出现如下warning，记录解决方法。UserWarning: nn.init.kaiming_normal is now deprecated in favor of nn.init.kaiming_normal_.解决：出现警告的原因，是torch版本的更新导致之前的参数不再使用。然而警告并不影响代码运行，所以可以不管。但是，为了输出不再出现警告，可加入忽视warning的代码：import warningswarnings.filterwarnings

pytorch 代码调试中出现以下报错。报错：RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child pro

使用torch.load()加载模型参数时，提示“xxx.pt is a zip archive(did you mean to use torch.jit.load()?)“一、服务器上训练的参数在个人电脑上预测在服务器上训练好的参数load到个人电脑上预测时，出现错误。根据博客1，和博客2了解到：xxx.pth来自pytorch1.6或更高的版本。1.6之后pytorch默认使用zip文件格式来保存权重文件，导致这些权重文件无法直接被1.5及以下的pytorch加载。Windows上torch

选自http://thushv.com，作者：Thushan Ganegedara，机器之心编译。机器学习是当前最重要的技术发展方向之一。近日，悉尼大学博士生 Thushan Ganegedara 开始撰写一个系列博客文章，旨在为机器学习初学者介绍一些基本概念。本文是该系列的第一篇文章，介绍了 KL 散度（KL divergence）的基本数学概念和初级应用。作者已将相关代码发布在 GitHub 上。代码：https://github.com/thushv89/nlp_examples_thushv

最近学习 pytorch，将其损失函数大致使用场景做了一下汇总，多参考网上大家的文章，或直接引用，文后附有原文链接，如有不对，欢迎指正一、L1LossL1 Loss，它有几个别称：L1 范数损失最小绝对值偏差（LAD）最小绝对值误差（LAE）最常看到的 MAE 也是指L1 Loss损失函数它是把目标值 g 与模型输出(估计值) y 做绝对值得到的误差 。什么时候用？回归任务简单的模型由于神经网络通常是解决复杂问题，所以很少使用。二、MSELoss也就是L2 Lo...

《深度学习》之 循环神经网络 原理 超详解一、简介二、结构3.1 循环结构3.2 RNN 结构三、训练算法四、基于 RNN 的语言模型例子1、首先，要把词表达为向量的形式：2、为了输出 “最可能” 的词，所以需要计算词典中每个词是当前词的下一个词的概率，再选择概率最大的那一个。3、为了让神经网络输出概率，就要用到 softmax 层作为输出层。参考：https://blog.csdn.net/DFCED/article/details/104982539https://www.jianshu.com/

《动手学深度学习Pytorch版》之DenseNet代码理解一、模块介绍1、卷积块conv_block2、稠密块DenseBlock3、过渡块transition_block二、DENSNET模型1、DenseNet首先使用同ResNet⼀样的单卷积层和最大池化层2、 DenseNet使用4个稠密块3、同ResNet⼀样，最后接上全局池化层和全连接层来输出稠密块由多个 conv_block 组成，每块使⽤相同的输出通道数。但在前向计算时，我们将每块的输⼊和输出在通道维上连结。一、模块介绍1、卷积块co

《动手学深度学习Pytorch版》之批量归一化对深层神经⽹络来说，即使输⼊数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化。在模型训练时，批量归⼀化利⽤⼩批量上的均值和标准差，不断调整神经⽹络中间输出，从⽽使整个神经⽹络在各层的中间输出的数值更稳定。一、预备知识1、分为三类对全连接层做批量归一化数据输入(二维)：（batch_size,n_feature）数据输出(二维)：（batch_size,n_feature）计算均值和方差mean = X.mea

未完待续。。。。。GPU操作二、模型保存读取操作1、访问模块模型参数model.parameters()一个从参数名称隐射到参数Tesnor的字典对象state_dict举例1import torchfrom torch import nnnet = MLP() #这里我省略了MLP()的定义，详见《动手学习深度学习Pytorch》对应章节net.state_dict()输出1class MLP(nn.Module):...OrderedDict([('hidden.

《动手学深度学习Pytorch版》https://github.com/ShusenTang/Dive-into-DL-PyTorch为了查看预测结果，在原Demo上加了预测显示代码。注意：图像尺寸由原先的28×2828\times2828×28变为224×224224\times224224×224，因此显示函数需要做变动。由于使用了GPU，所以预测数据也要做相应的转换。预测程序如下：# d2l.show_fashion_mnist??import matplotlib.pyplot a

IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python一、IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number是你的torch版本的不同造成的。解决：将loss.data[0] 改成loss.ite

jupyter notebook中使用gymjupyter notebook中使用gym莫烦pytorch系列教程 4.5 DQN 强化学习 (PyTorch tutorial 神经网络 教学)，使用到gym。Gym是一个用于测试和比较强化学习算法的工具包，它不依赖强化学习算法结构，并且可以使用很多方法对它进行调用，像Tensorflow。目前我使用Ubuntu远程服务器，配合Vscode的jupyter notebook进行远端调试。安装gym!pip install -i https://p

cgit是一个github快速下载器，使用国内镜像，clone速度可达10M/s一、安装方法目前，已提供了Ubuntu和Mac的预编译程序，如果使用的是其他系统，可以采用源码编译安装。linux下安装sudo wget http://cgit.killf.info/cgit_linux_latest -O /usr/local/bin/cgit && sudo chmod 755 /usr/local/bin/cgitmac下安装sudo wget http://cgit.ki

服务器普通用户无法使用conda，“conda: command not found”https://blog.csdn.net/LiuXiaoXueer/article/details/103413547Ubuntu 20.04安装CUDA 11linux下安装cuda后nvcc -V无法执行的解决方案Anaconda系列一：Ubuntu安装 Anaconda 3 (详细安装步骤与常用命令)...

PaddleSeg 分割模型介绍PaddleSeg 分割模型介绍一、[U-Net](https://zhuanlan.zhihu.com/p/118540575)二、DeepLabv3+三、PSPNet四、ICNet五、[HRNet](https://github.com/PaddlePaddle/PaddleSeg/blob/release/v0.7.0/tutorial/finetune_hrnet.md)六、Fast-SCNN七、参考文献PaddleSeg 分割模型介绍此篇博客摘抄于https:/

Windows10+Quadro M2000+CUDA_9.2.148+cudnn7.2.1.38+tensorflow_gpu-1.10.0-cp36-cp36m-win_amd64.whl安装一、GPU新驱动安装二、Anaconda3下载与安装三、CUDA的下载安装四、CUDNN7.2的下载安装五、Tesorflow下载一、GPU新驱动安装1、查看自己电脑的显卡信息，可以使用工具CPU-Z检测。下图为本机的显卡信息：进入NVIDIA驱动下载进行符合条件的下载安装。直接安装并取代之前的显卡版本。

tensorflow各个版本的CUDA以及Cudnn版本对应关系概述，需要注意以下几个问题：（1）NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦！CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。CUDA的本质是一个工具包（ToolKit）；但是二者虽然不一样的。显卡驱动的安装：当我们使用一台电脑的时候默认的已经安装了NVIDIA的显卡驱动，因为没有显卡驱

MXNet双向循环神经网络----单个隐藏层的双向循环神经网络（程序）《动手学深度学习》第六章 第10节的练习题，个人解答。下图演示了一个含单隐藏层的双向循环神经网络的架构。下面我们来介绍具体的定义。给定时间步ttt的小批量输入Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^{n \times d}Xt​∈Rn×d（样本数为nnn，输入个数为ddd）和隐藏层...

MXNet深度循环神经网络----含有2个隐藏层的循环神经网络（程序）《动手学深度学习》第六章 第9节的练习题，个人解答。在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有LLL个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。具体来说，在时间步ttt里，设小批量输入Xt∈Rn×d\boldsymb...

数据来源：一、MXnet官网 vision.datasets1、MNIST handwritten digits dataset from http://yann.lecun.com/exdb/mnist2、A dataset of Zalando’s article images consisting of fashion products,3、CIFAR10 image classif...

MXNet的gluon.loss1、Loss2、L2Loss：计算“标签”和“ pred”之间的均方误差3、L1Loss：计算标签和pred之间的平均绝对误差4、SigmoidBinaryCrossEntropyLoss：二进制分类的交叉熵损失5、SoftmaxCrossEntropyLoss:计算softmax交叉熵损失。 （别名：SoftmaxCELoss）6、KLDivLoss:Kullba...