Paul_Huang的专栏

问题描述：round函数在定义域中的导数，处处为0或者无穷，梯度无法反向传播。本文将使用autograd.function类自定义可微分的round函数，使得round前后的tensor，具有相同的梯度。torch.round(x)导数处处为0，x.detach()在计算图中无梯度，因此其ste_round的倒数就是x的导数。torch.round(x)导数处处为0，x.detach()在计算图中，x的导数为1。

RuntimeError: Distributed package doesn't have NCCL built in

统计学习方法第二章习题

统计学习方法第一章习题

消融实验

如何阅读论文李沐1. 第一遍：文章主要讲什么1.1 看整体1.2 看图表2. 第二遍：文章每一部分讲什么3. 第三遍：真正读懂吴恩达1.1 系统阅读论文集1.2 论文至少要看三遍1.3 问自己问题1.4 一些有用的在线资源1.5 Learn steadily rather than short burst for longevity.参考：论文的结构一般是：title(标题)abstract(摘要)intro(导言)method(提出的算法)exp(实验)conclusion(结论)

【DataWhales】深入浅出Pytorch-第三章/第四章第三章： Pytorch 的主要组成模块3.1 神经网络学习机制和深度学习在实现上的特殊性3.1.1 神经网络学习机制3.1.2 深度学习在实现上的特殊性3.2 PyTorch深度学习模块第四章 基础实战——FashionMNIST时装分类4.1 基本配置4.1.1 导入必要的包4.1.2 配置训练环境4.1.3 配置超参数4.2 数据读入4.2.1 读取方式一：使用torchvision自带数据集4.2.2 读取方式二：读入csv格式的数据，自

【DataWhales】深入浅出Pytorch-第二章1. Pytorch的基本操作1.1 建立tensor类型（2种方法）1.2 tensor 与 numpy(array)之间的转换1.3 tensor常见的构造函数（4个函数）2. Tensor的基本操作2.1 查看tensor的维度信息（2种方式）2.2 tensor的运算2.3 tensor索引2.4 改变形状（view）2.5 扩展&压缩tensor的维度：unsqueeze/squeeze3. 自动求导1. Pytorch的基本操作1

Matlab中批读取DCM文件1. 利用cd读取路径2. 利用dir读取文件夹的文件名3. 代码1. 利用cd读取路径cd Change current working directory. cd directory-spec sets the current directory to the one specified. cd .. moves to the directory above the current one. cd, by itself, prints o

pytorch学习-7：RNN 循环神经网络（分类）1. 加载MNIST手写数据1.1 数据预处理2. RNN模型建立3. 训练4. 预测参考循环神经网络让神经网络有了记忆, 对于序列话的数据,循环神经网络能达到更好的效果.1. 加载MNIST手写数据import torchfrom torch import nnimport torchvision.datasets as dsetsimport torchvision.transforms as transformsimport matpl

python中npz文件读取和图片显示1. npz文件读取1.1 读入1.2 大小2. 读取图片1. npz文件读取1.1 读入from PIL import Imageimport numpy as npimport matplotlib.pyplot as pltpath1 = "J:/code/cardiac_data/2Dwithoutcenter1/27-18-3.npz"path2 = "J:/code/cardiac_data/2Dwithoutcenter1/27-7-3.n

CVAE理论到代码1. VAE的本质1.1 深度理解VAE1.2 VAE 与GAN2. CVAE2.1 CVAE简介2.2 CVAE基本模型2.3 数学理解参考1. VAE的本质1.1 深度理解VAEVAE本质就是在我们常规的自编码器的基础上，对encoder的结果（在VAE中对应着计算均值的网络）加上了“高斯噪声”\color{red}“高斯噪声”“高斯噪声”，使得结果decoder能够对噪声有鲁棒性\color{red}使得结果decoder能够对噪声有鲁棒性使得结果decoder能够对噪声有

常见的医学影像数据格式及其读取与保存1. 医学图像医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D） 或立体像素（3D） 组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。像素所表达的具体数值是由成像设备、成像协议、影像重建以及后期加工所决定的。医学图像有四个关键成分——图像深度、光度表示、元数据和像素数据\color{red}图像深度

pytorch学习-5：批训练+Optimizer 优化器1. 批训练1.1 DataLoaderDataLoader 是 torch 给你用来包装你的数据的工具. 所以你要讲自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 使用 DataLoader 有什么好处呢? 就是他们帮你有效地迭代数据, 举例:import torchimport torch.utils.data as Datatorch.manual_seed(1) # re

Spatial Transformer Networks(STN)-代码实现pytorch为了方便实现STN，里面封装了affine_grid和grid_sample两个高级API。STN的基本步骤是：Localisation  net\color{blue}Localisation\;netLocalisationnet(参数预测)：Localisation net模块通过CNNCNNCNN提取图像的特征来预测变换矩阵θ\thetaθGrid  generator\color{

Spatial Transformer Networks(STN)-论文笔记1. 问题提出CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有 ：平移不变性、缩小不变性\color{red}平移不变性、缩小不变性平移不变性、缩小不变性；还对缺失的空间不变性（spatially  invariance）\color{red}空间不变性（spatially\;invariance）空间不变性（spatiallyinvariance）做了相应的实验。缩小不变性缩小不变性缩小不变性主

快速搭建+保存提取1. 快速搭建上一讲神经网络时用到的步骤. 我们用 net1 代表这种方式搭建的神经网络。用 class 继承了一个 torch 中的神经网络结构, 然后对其进行了修改。class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear

线性回归1. 问题描述一个一元二次函数: y=ax2+by=ax^2+by=ax2+b, 我们给 yyy 数据加上一点噪声来更加真实的展示它。import torchimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)y = x.pow(2) + 0.2*torch.rand(x.size())

1. 变量 (Variable)1.1 什么是 Variable在 Torch 中的 Variable 就是一个存放会变化的值的地理位置. 里面的值会不停的变化. 就像一个裝鸡蛋的篮子, 鸡蛋数会不停变动. 那谁是里面的鸡蛋呢, 自然就是 Torch 的 Tensor 咯. 如果用一个 Variable 进行计算, 那返回的也是一个同类型的 Variable.1.1.1 定义变量import torchfrom torch.autograd import Variable # torch 中 V

Torch vs Numpy1. numpy, torch 之间的转换Torch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好咯. 就像 Tensorflow 当中的 tensor 一样.import torchimport numpy as npnp_data =