python
*Lisen
这个作者很懒,什么都没留下…
展开
-
conda多个环境下,怎么让jupyter在某个环境下运行?
我现在遇到一个问题,我在linux上装了2个环境,分别为pax和max,然后我在max上启动jupyter notebook,但是呢,我发现访问的orbax包还是pax上的版本。确保在启动 Jupyter Notebook 时,使用的 Python 环境是你在 max 环境中安装的 Python。在 max 环境中安装 Jupyter Notebook 的内核,然后在启动的 Notebook 中选择对应的内核。你可以在激活 max 环境后,直接使用该环境的 Jupyter Notebook。原创 2024-07-03 11:00:18 · 301 阅读 · 0 评论 -
pytorch分布式训练,支持单机多卡,多机多卡
参考:https://zhuanlan.zhihu.com/p/373395654本人手撸简单的GitHub项目地址:https://github.com/Lisennlp/distributed_train_pytorch原创 2021-07-01 16:19:24 · 651 阅读 · 0 评论 -
ImportError: cannot import name a 和ModuleNotFoundError: No module named a原因和解决
一定要注意,这两个错误的原因是完全不一样的。ModuleNotFoundError: No module named ‘a’这个错误大家应该经常见到,原因很简单,就是引入包的路径不对。python在编译器比如pycharm运行时,会自动从项目根目录下的目录中寻找相应的包(二级目录),但是,在linux终端运行的时候,只会在当前目录下寻找相应的模块。因此,我们经常会遇到在编译器里面可以正常运行,但是在linux终端却运行失败的情况。解决办法:众所周知,python引入包的路径其实全都在sys.path这原创 2020-06-02 18:26:26 · 1086 阅读 · 0 评论 -
pytorch 模型训练时多卡负载不均衡(GPU的0卡显存过高)解决办法(简单有效)
本文主要解决pytorch在进行模型训练时出现GPU的0卡占用显存比其他卡要多的问题。如下图所示:本机GPU卡为TITAN RTX,显存24220M,batch_size = 9,用了三张卡。第0卡显存占用24207M,这时仅仅是刚开始运行,数据只是少量的移到显卡上,如果数据在多点,0卡的显存肯定撑爆。出现0卡显存更高的原因:网络在反向传播的时候,计算loss的梯度默认都在0卡上计算。因此会比其他显卡多用一些显存,具体多用多少,主要还要看网络的结构。因此,为了防止训练由于 out of memory原创 2020-05-14 13:29:42 · 21948 阅读 · 49 评论 -
宏平均(Macro-averaging)、微平均(Micro-averaging)和权重平均(weight-averaging)的理解
很多博客关于宏平均,微平均,权重平均介绍了一大堆的公式,让人看了一头雾水,本文主要重点介绍怎么计算,从实例出发,相信大家在跟着算完一遍之后就知道这三个平均的意思了。相关定义:真正例(True Positive,TP):真实类别为正例,预测类别为正例。假正例(False Positive,FP):真实类别为负例,预测类别为正例。假负例(False Negative,FN):真实类别为正例,预测类别为负例。真负例(True Negative,TN):真实类别为负例,预测类别为负例。以正例为例计算:原创 2020-05-13 16:08:27 · 9602 阅读 · 2 评论 -
解决RuntimeError: reduce failed to synchronize: device-side assert triggered问题
首先,上一波报错信息:/pytorch/aten/src/THC/THCTensorIndex.cu:362: void indexSelectLargeIndex(TensorInfo<T, IndexType>, TensorInfo<T, IndexType>, TensorInfo<long, IndexType>, int, int, IndexTy...原创 2020-04-07 11:04:23 · 4222 阅读 · 4 评论 -
bert在预训练时的两个下游任务详解
一直很困惑bert在经过transformer的encoder之后的两个任务是怎么做的。比如:这两个任务的loss函数是什么?拿到encoder输出做了什么?很多人都是这么回答的:bert的loss就是下一句预测的分类loss和mask词的预测loss拿encoder输出直接算loss啊如果你继续问:那他们的loss都分别怎么算的?相信很多人都讲不出来。下面就详细在这阐...原创 2020-03-11 18:28:05 · 13400 阅读 · 28 评论 -
debian/ubantu下安装无cuda,cpu版本的caffe
1、安装依赖sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compilersudo apt-get install --no-install-recommends libboost-all-devsudo apt-get i...原创 2019-05-09 15:45:54 · 273 阅读 · 0 评论 -
如何将多个jupyter的.ipynb文件合并为一个?
方法一:直接复制jupyter单元格选中需要合并的部分单元格,ctrl+c,直接粘贴至另外的jupyter窗口中即可方法二:借助nbmerge工具包安装:pip install nbmerge然后执行:nbmerge a.ipynb b.ipynb c.ipynb > merge.ipynb合并的个数不限,但至少2个。...原创 2019-10-04 23:14:01 · 9782 阅读 · 0 评论 -
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not i
关于在linux终端出现UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-2: ordinal not in range(128) 报错的解决方案原因:这是因为终端不支持中文显示导致的。解决:(1)设置环境变量LANG修改~/.bash_profile文件,执行export LANG=“en_U...原创 2019-04-12 16:28:21 · 2820 阅读 · 3 评论 -
python如何快速将项目代码制作成pip安装包并进行安装
1、在你的项目文件夹的工作目录下,新建setup.py文件,然后在里面添加如下内容:#! /usr/bin/env python # -*- coding: utf-8 -*_ # Author: ***<***gmail.com> from distutils.core import setup import setuptoolssetup( name='xxx...原创 2019-05-04 16:42:30 · 6048 阅读 · 7 评论