python
++加油呀
这个作者很懒,什么都没留下…
展开
-
RuntimeError: NCCL error in:XXX,unhandled system error, NCCL version 2.7.8
1.问题pytorch 分布式训练中遇到这个问题,2.原因大概是没有启动并行运算???(有懂得大神请指教)3.解决方案(1)首先看一下服务器GPU相关信息进入pytorch终端(Terminal)输入代码查看pythontorch.cuda.is_available()#查看cuda是否可用;torch.cuda.device_count()#查看gpu数量;torch.cuda.get_device_name(0)#查看gpu名字,设备索引默认从0开始;torch.cuda.cu原创 2021-08-30 16:51:17 · 10185 阅读 · 0 评论 -
问题总结:create_examples.py: error: the following arguments are required: --vocab_file
原运行命令:python src_nq_memory/create_examples.py --input_pattern "./natural_questions/v1.0/train/nq-train-*.jsonl.gz" \ --vocab_file ./bert-base-uncased-vocab.txt \ --do_lower_case \ --output_dir ./natural_questions/nq_0.03/ \ --num_threads 24 --includ原创 2021-08-29 16:44:05 · 466 阅读 · 0 评论 -
问题总结:ModuleNotFoundError: No module named ‘pytorch_pretrained_bert‘
1.问题from pytorch_pretrained_bert.modeling import BertConfigfrom pytorch_pretrained_bert.optimization import BertAdam,warmup_linear2.解决方法(1)连接远程服务器(2)进入pycharm的终端(terminal),激活环境conda activate python1(3)安装包pip install pytorch_pretrained_bert==0.原创 2021-08-27 16:24:57 · 6421 阅读 · 0 评论 -
问题总结python: can‘t open file ‘XXX‘: [Errno 2] No such file or directory
在Linux系统跑程序时,出现错误python: can’t open file ‘src_nq/create_examples.py’: [Errno 2] No such file or directory可能的原因及解决方法:1.在该路径下没有对应文件解决方法:查看目录结构,发现该文件存在或者在终端进入该文件所在文件夹,输入dir查看该文件夹下包含的文件,发现要运行的文件确实存在,这个原因排除。2.Python命令中空格需要为英文状态运行代码中的空格应该为英文状态python原创 2021-08-23 11:29:25 · 108583 阅读 · 6 评论 -
解决UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xb2 in position 1421: invalid start byte
1.问题在Linux系统创建虚拟环境时,遇到以下问题:2.问题原因查阅资料发现这是由于compat.py文件的154行采用utf-8解码方式无法解码0xb2的值3.解决方法根据路径找到该文件的154行代码154的代码如下改成解决了4。关于编码当不指定encoding时,文件的默认编码格式是 GBK(cp936即为GBK)如果指定了encoding时,文件的默认编码格式是 GBK(cp936即为GBK...原创 2021-08-14 15:46:31 · 1734 阅读 · 0 评论 -
解决Resource stopwords not found. Please use the NLTK Downloader to obtain the resource: >>> impo
1.问题原因出现这个问题是因为缺失corpora/stopwords文件2.解决方法有两种方法(1)按照报错提示,在控制台通过代码下载>>> import nltk>>> nltk.download()但是这种情况很难成功,大概是因为网速吧尝试第二种方法(2)手动下载下载网址在里面找到缺失的文件(上图报错的红字)我的缺失的是stopwords,找到并下载(这里看报错信息,缺什么下载什么)下载好后...原创 2021-08-05 15:37:35 · 4663 阅读 · 5 评论 -
二.GNN算法之Graph Network
二.GNN算法之Graph Network2.1 GCN 图卷积神经网络完整源码连接https://github.com/tkipf/pygcn感谢作者!from __future__ import divisionfrom __future__ import print_functionimport timeimport argparseimport numpy as npimport torchimport torch.nn.functional as Fimport torc原创 2021-08-04 10:43:50 · 773 阅读 · 0 评论 -
1GNN算法 之 GraphEmbedding
初学GNN,总结一下算法代码1.deepwalkif __name__ == "__main__": G = nx.read_edgelist('../data/wiki/Wiki_edgelist.txt', create_using=nx.DiGraph(), nodetype=None, data=[('weight', int)])#导入图,创建有向图,节点,权重 # nx.draw(G, node_size=10, font_s原创 2021-08-04 10:40:37 · 226 阅读 · 0 评论 -
在pycharm使用配置好的pytorch环境
1.新建一个项目2.编辑项目名称3.选择创建好的环境(1)(2)(3)选择创佳好的环境所在文件夹(一般都在Anaconda\envs中,所以要清楚自己的anaconda的安装环境)(4)选中python.exe文件点击“ok"点击”create“完成...原创 2021-07-29 14:00:30 · 1095 阅读 · 0 评论 -
创建pytorch环境
Pytorch 安装1.安装Annconda下载链接:https://www.anaconda.com/2.打开Annconda Prompt2.1 创建Pytorch环境(1)新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;增加了 图片拖拽 功能,你可以原创 2021-07-29 11:31:25 · 720 阅读 · 1 评论 -
一行代码查看包的版本 PyCharm
初学小白,随手记,不对的地方欢迎大家批评指正import gensimprint(gensim.__version__)1.导入要查看的包或者库2.version原创 2021-07-28 14:50:28 · 722 阅读 · 0 评论