Python
咖乐布小部
NLP算法工程师,欢迎交流,一起学习!
展开
-
dataloader中 sampler、collate_fn 和 dataset 的 getitem使用理解。
DataloaderDataLoader(dataset, sampler=None, collate_fn=None,batch_size=1, shuffle=False, num_workers=0,pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)这里先从dataset的运行机制讲起.在dataloader按照batch进行取数据的时候, 是取出大小等同于batch size的index列表; 然后将列表列表原创 2021-08-06 16:08:32 · 2495 阅读 · 0 评论 -
PyTorch使用多GPU训练
device_ids = [3, 4, 6, 7]model = Module()if torch.cuda.is_available(): module = torch.nn.DataParallel(model, device_ids=device_ids) # 声明所有可用设备 model = model.cuda(device=device_ids[0]) # 模型放在主设备images = images.cuda(device=device_ids[0]) # 训练数据原创 2021-07-31 16:41:10 · 98 阅读 · 0 评论 -
python3 安装 torchtext
conda install -c derickl torchtext抄自:https://blog.csdn.net/qq_40210472/article/details/88046669原创 2021-06-17 21:29:34 · 253 阅读 · 0 评论 -
python 镜像源
清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学:http://pypi.hustunique.com/山东理工大学:http://pypi.sdutlinux.org/豆瓣:http://pypi.douban.com/simple/使用方法:p..原创 2021-02-20 19:47:41 · 143 阅读 · 0 评论 -
aowu!pip更新完成!!
pip终于更新完成!在这里,如果用的是pycharm3,建议不要用 pycharm-文件-设置-project interpreter,因为删除原有的pip之后,会出现找不到安装包目录的现象。建议还是在终端安装1)win+R 输入cmd打开运行终端2)用pip install 模块时,发生错误,出现一段黄字,直接讲黄字里面的引号部分复制,重新输入即可。建议不要用WiFi。我的血泪:第一次 E:达成了小写的e,结果出错,结果网上找了一堆乱七八糟成功不了的方法。。害,去吃一份烤冷面暖暖心原创 2020-08-22 19:17:43 · 146 阅读 · 0 评论