![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
junior_programmer
这个作者很懒,什么都没留下…
展开
-
Pytorc分布式训练
当模型训练过程显存占用较大无法在单个gpu上完成的时候,必须使用分布式训练,将模型或者数据分配到不同的节点上,降低单个gpu的负荷。这里重点介绍最简单的数据并行范式的分布式训练(DistributedDataParallel,ddp),基本思想就是将一个大的batch的训练数据的loss计算拆分成多个小的batch,分配到多个不同的gpu上分别计算loss,然后收集加总,再进行反向传播。多机多卡数据并行训练多机多卡数据并行训练最方便的实现是利用torch.nn.parallel.Distributed原创 2020-08-11 14:04:28 · 230 阅读 · 0 评论 -
unbuntu18.0.4 安装nvidia驱动 cuda cudnn
1.打开终端窗口,使用以下命令检查Nvidia卡正在使用哪个驱动程序:sudo lshw -c display还可以使用video而不是display作为类名:sudo lshw -c video默认情况下,开源nouveau驱动程序用于Nvidia卡2.禁用nouveau 显卡驱动blacklist nouveauoptions nouveau modeset=02.重新生成 kernel initramfs:sudo update-initramfs -u3...原创 2020-06-30 13:55:04 · 1075 阅读 · 0 评论 -
transformers 使用bert中文模型
pytorch 下载gpu版pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.htmlcpu版pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html中文bert-wwm 模型 下载中文bert-w原创 2020-05-23 21:17:44 · 9512 阅读 · 4 评论 -
NLP 学习资源
// 美团技术博客美团nlp团队参加竞赛获奖项目介绍美团数据开发团队整合Jupyter和Spark原创 2020-06-19 15:26:18 · 129 阅读 · 0 评论 -
nltk资料
官方教程http://www.nltk.org/book/ch00.htmldocumentationhttp://www.nltk.org/github 源码https://github.com/nltk/nltk我爱自然语言处理论坛http://www.52nlp.cn/tag/nltk%E4%BB%8B%E7%BB%8D结巴中文分词https://gith...原创 2020-01-18 20:56:40 · 141 阅读 · 0 评论