![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
月夜长影
专注技术学习。
展开
-
PyTorch多GPU训练时同步梯度是mean还是sum?
PyTorch 通过两种方式可以进行多GPU训练: DataParallel, DistributedDataParallel. 当使用DataParallel的时候, 梯度的计算结果和在单卡上跑是一样的, 对每个数据计算出来的梯度进行累加. 当使用DistributedDataParallel的时候, 每个卡单独计算梯度, 然后多卡的梯度再进行平均.原创 2023-11-21 17:33:57 · 4332 阅读 · 1 评论 -
[fix] libc10_cuda.so: undefined symbol: cudaMemPoolSetAttribute, version libcudart.so.11.0
conda复制环境后pytorch不能导入原创 2023-07-14 19:41:12 · 8251 阅读 · 3 评论 -
源码阅读 | Python中copy.deepcopy原理
介绍deepcopy是用来进行深层复制的, 但是在实际中可能遇到, 复制一个对象后, 某些属性没了, 因此看看源码, 顺便记录下来.Python 版本: 3.6copy模块位置: copy.py (Python的lib包里面)源码注释"""deepcopy的主要逻辑在下面的函数.deepcopy的文档: https://docs.python.org/3/library/copy.html"""def deepcopy(x, memo=None, _nil=[]): """Dee原创 2020-12-29 21:08:56 · 1092 阅读 · 2 评论 -
fairseq | fairseq beam search 源码阅读笔记
说明使用的fairseq版本为 0.6.2fairseq 进行beam search的逻辑位于 fairseq.sequence_generator.SequenceGanerator:generateSequenceGenerator负责处理整个搜索的过程, 大致逻辑为对每个时刻, 调用self.search.step获取可能的候选, 将搜索到EOS的结果加入到结果候选中, 更新参数并进行下一步的搜索.self.search.step负责具体的搜索token的策略, 包括beam search原创 2020-10-02 19:50:20 · 2292 阅读 · 0 评论 -
kenlm安装和使用笔记
环境说明采用Debian系统和anaconda安装的python3.6安装依赖如果有root权限, 采用apt安装依赖即可. 见github的链接sudo apt install build-essential cmake libboost-system-dev libboost-thread-dev libboost-program-options-dev libboost-test-dev libeigen3-dev zlib1g-dev libbz2-dev liblzma-dev否则的话原创 2020-08-30 14:49:28 · 4358 阅读 · 4 评论 -
conda | An HTTP error occurred when trying to retrieve this URL 解决方案
问题描述conda安装包的时候, 下载中断, 导致安装失败, 报错信息如下所示:Error:CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/pro/noarch/repodata.json.bz2>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP errors are of原创 2020-07-15 23:03:45 · 5147 阅读 · 1 评论 -
Windows上安装Anaconda3教程
介绍Anaconda是Python的一个开源发行版本, 包含了Python环境管理工具conda, 以及其他科学计算包, 如numpy, scipy等等.下载地址:注: 下载原创 2020-02-11 13:28:02 · 2069 阅读 · 0 评论 -
Ubuntu16.04安装CUDA10.2, CUDA toolkit与驱动版本的关系, anaconda中CUDA toolkit与Nvidia的CUDA toolkit的关系
文章目录安装CUDA 10.2安装后操作安装cuDNNCUDA版本与驱动版本的关系Anaconda中的CUDA toolkit安装CUDA 10.2我的系统是Ubuntu16.04, 按照Nvidia官网的说明, 下载相应的deb包, 安装即可.安装指令如下wget https://developer.download.nvidia.com/compute/cuda/repos/ubun...原创 2019-12-18 09:45:48 · 20399 阅读 · 4 评论 -
UserWarning: RNN module weights are not part of single contiguous chunk of memory解决方案
问题描述PyTorch1.2中使用DataParallel的情况下,RNN报错了。部分报错信息如下:loss: 250.3600 ||: : 3it [00:08, 3.74s/it]/opt/conda/conda-bld/pytorch_1570910687230/work/aten/src/ATen/native/cudnn/RNN.cpp:1238: UserWarning: RNN...原创 2019-11-10 15:43:34 · 8367 阅读 · 1 评论 -
RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got CUDAType
错误如下:PyTorch查询embedding的时候,报错了~/anaconda3/lib/python3.6/site-packages/torch/nn/modules/module.py in __call__(self, *input, **kwargs) 491 result = self._slow_forward(*input, **kwargs)...原创 2019-10-15 16:45:24 · 11778 阅读 · 17 评论