LaineGates的专栏

onnx模型转tensorRT模型时，出现错误。google到tensorRT 8.6支持了dynamic topk，不会再有这个问题。但项目上限制是 tensorRT 8.5对比出错处的topk算子，可以看到正常转tensorRT的topK算子是没有Identity输入的。

安装 Pytorch-geometric ，查询 pytorch 中使用的cuda的版本

上网查了很久，最终发现，最好的办法，还是按官网推荐，用conda配置环境。1. 安装anaconda环境参考使用anaconda安装pytorch，并配置vscode安装anaconda后，pytorch可用最新的。conda create -n pytorch python=3.8 # 新建一个虚拟环境，问题最少2. 安装 pytorch 最新版安装最新的pytorch稳定版，官网-安装指导页conda install pytorch torchvision torchaudio cuda

1. 问题描述在windows环境下：numpy1.20 + anaconda3 + pytorch 1.102. 解决办法有两个关键点：使用了anaconda3，确定当前是哪个env，把这个env的dll路径放到PATH中，我的路径D:\anaconda3\envs\xxxx\Library\bin；在环境中安装包时，最好统一用conda和pip3安装，不要两者混着用，否则可能导致不可预知的bug...

Pytorch提供的正态分布创建方式>>> m = Normal(torch.tensor([0.0]), torch.tensor([1.0]))>>> m.sample() # 生成数据，可传shape参数 tensor([ 0.1046])接口log_prob(self, value)返回value概率的log值，正态分布公式为f(x)=12πσexp(−(x−μ)22σ2)f(x)=\frac{1}{\sqrt{2\pi}\sig

安装过程网上很多，此处不再赘述。说下重点：anaconda的环境配置anaconda安装后，直接点开cmd，运行conda不生效。解决办法：环境变量PATH添加{安装目录}\Scriptsvscode无法调用anaconda集成环境使用 vscode 配合 anaconda 调试 python 程序，却发现怎么都无法正常启动。大致错误为：ImportError: DLL load failed: 找不到指定的模块。仔细检查，应该因为启用的是 powershell 环境。解决办法：把默认的

今天写pytorch代码，在调用Dropout时出现了pytorch dropout srcIndex < srcSelectDimSize错误，仔细看debug的位置，Dropout怎么也不应该出现这个问题。想了半天，才反应过来，pytorch动态创建计算图，每个tensor操作或者函数调用时，都会触发所有前置的网络。所以解决办法是，反向查找所有tensor的维度。一个方便的办法是 print(model)，pytorch会输出模型的结构及每个tensor的维度。...

张量生成torch.onestorch.zerostorch.tensor()张量操作torch.tensor.eq(x)，生成一个与当前tensor等大小的张量，如果对应位置值等于参数x，那么对应位置值为True否则False。torch.gt(a, value)torch.tensor.squeeze(dim)torch.tensor.unsqueeze(dim)torch.tensor.view(size)根据传入的size，调整当前tensor的shapetorch.nn.Mod

原文原文标题：My Neural Network isn’t working! What should I do?Github Notes前言如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：忘记对你的数据进行归一化忘记检查输出结果没有对数据进行预处理没有使用任何的正则化方法使用了一个太大的 batch size使用一个错误的学习率在最后一层使用错误的激活函数网络包含坏的梯度网络权重没有正确的初始化使用了一个太深的神经网络隐藏层神经元数

expand 函数expand(*sizes) -> Tensor*sizes(torch.Size or int) - the desired expanded sizeReturns a new view of the self tensor with singleton dimensions expanded to a larger size.expand用于扩展tensor数据。但有以下注意点：该函数不复制数据扩展时只在能度数是1的维度上扩展生成的对象与原对象共享内存

调试pytorch代码，遇到了这个错误。还有个类似的错误CUDA error: CUBLAS_STATUS_INTERNAL_ERROR when callingcublasSgemm(…)`网络搜索，各种解答都有，驱动版本，固定cuda设备号等等。虽然都有成功的情况，但感觉不靠谱。这个错误信息，看着还像是内存访问错误。解决办法:仔细检查代码，把数据统一在cpu或gpu上。检查过程很麻烦，为了方便检查，自己写了个小函数。def printTensor(t, tag:str): sz

这里写自定义目录标题常见名词术语任务常见名词术语fine tunning (微调):调整参数WordPiece 嵌入：WordPiece是指将单词划分成一组有限的公共子词单元，能在单词的有效性和字符的灵活性之间取得一个折中的平衡。例如图4的示例中‘playing’被拆分成了‘play’和‘ing’；位置嵌入（Position Embedding）：位置嵌入是指将单词的位置信息编码成特征向量，位置嵌入是向模型中引入单词位置关系的至关重要的一环。位置嵌入的具体内容参考我之前的分析；分割嵌入（Segm

测试pytorch 例子，尝试使用下面代码下载数据，实在太慢了。trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)testset = torchvision.datasets.CIFAR10(root='./data', train=False,