weixin_43301333的博客

以原因是因为直接以为本流读取json，导致'false''null'被识别为了为定义的python变量。

有可能你的GPU报错和我的一样，但是cpu报错不同，也就是实际导致错误的原因是不一样的。，超过了模型的embedding最大尺寸，可以在tokenizer设置。由于GPU上的报错一般都比较抽象。

原因就是调用API的频率太过于频繁。例如，free trial的用户，每分钟限制的request的上限是20次，15万tokens。超过这部分，访问就会受拒。

假设我们在一个文件夹下自定义了一个文件函数，然后在位于另一个文件夹的文件中，我们想想要import这个函数。例如，我们想要在file2.py中倒入file1.py。

编译latex的时候出现如下warning：!warning虽然不影响文件编译，但是这个“compatibility mode”的问题。

显卡驱动和cuda都正常安装了，跑代码也没有任何问题，但是使用类似于。换成你机器cuda的安装路径，一般而言都是这个路径。这种问题多半是因为shell环境变量没有设置。的命令查看cuda版本却没有任何输出。

如torch.select等；或者输入的input_ids超出了模型embedding的词表范围。，比方说padding tokens、ending tokens。在某些情况下会比较实用。这种类型的报错，绝大多数情况下，都是因为tensor index的错误。，上述操作的一个好处就是可以把超出词表范围的那些ids。

这种类型的报错，多半是因为import了多个重名的包，导致运行的时候，后面导入的包，把前面正确的包覆盖了。由于transformers.trainer下也有一个logging，所以覆盖了第一行的import。

笔者得出结论：主要是因为报错信息太抽象了，导致这个connection error的原因有很多，上述提到的每一种都有可能，建议每一种都去尝试一下…笔者曾不止一次遇到过该问题，每次遇到这个问题，都是试了上述各种方法，一开始不奏效，最后莫名其妙地就解决了(我什么也没做)…也有人说是http proxy的问题；还有人说重启机器就能解决…有人说，删除cache文件就行；

而且同样的这段命令，terminal里面运行是可以的，但是粘贴到shell里不行了。后跟回车的话，要确保没有多余空格，不然就转移空格去了。删去多余的空格即可。在vscode里面打开shell文件，可以看到换行转移符。一开始百思不得其解，明明指定了。因为shell是空格敏感的…后面的话，它看起来会有点。

在查询了资料之后，发现这个问题大概是因为vscode的jupyter运行时，会进行一些文件操作（类似于，会自动清除一些缓存文件），而用户有没有root权限，所导致的。根据jVscode jupyter notebook的官方回应，这个问题属于时upstream问题，，运行jupyter notebook都没有发生问题。，只能期望在未来的版本得到修复…之前在vscode里面连接。

用vscode直接跑jupyter的时候，会出现这个错误。说明当前用的这个虚拟环境还不支持ipykernel。解决办法非常简单，下载。

在配置好环境变量之后，gcc已经可以正常使用，但是运行的python代码中涉及到子进程，子进程继续无法使用gcc。中配置软件的环境变量之后，python代码的子进程仍然无法使用该环境变量。需要手动在代码中添加环境变量。比方说，如果gcc的使用，需要倒入环境变量。这种方法适用于任何一种，环境变量在进程中无法生效的情况。例如，在无sudo的情况下，安装gcc至。

但是笔者所有该做的操作都做了（如下图），这让我百思不得其解…已经正常运行了，但是并没有成功还原默认下载地址。总之，之后brew安装软件，使用。可以解决大部分安装错误的问题。

在机器上直接用pip安装pytorch-gpu版本，很有可能出现torch的cuda toolkit和设备不兼容的问题。即，显示为trueQ: 如何知道自己安装的gpu版pytorch能否正常使用?

查询资料之后，没有找到出现这个问题的原因。重新初始化仓库的，也有说是网络问题。但笔者尝试之后没有效果。重新addremoteurl就行。

虽然笔者当前这个commit已经把所有大文件都删除了，但是因为历史某个版本，大文件都还在的时候commit过，导致大文件仍然存在于当前仓库。参数，其不会真的回退版本，只是回退commit，让你重新commit。这样就可以防止把大文件commit进来了。很明显，是因为github有文件大小限制，而当前仓库commit过一些很大的文件，导致上传失败。...

overleaf 编译迟缓，一直报错服务器超时错误：something went wrong and your project could not be compiled. please try again in a few moments.一开始以为是网络问题，后来发现是因为project太大了，导致latex编译缓慢。解决方法也很简单，把一些没用到的图片、pdf都删掉，或者降低图片像素。注意：就算有一些图片没有ref到，overleaf还是会重复地把整个project的所有文件传输到服务器进

使用latex的subfigure的时候报错：missing number treated as zero illegal unit of measure (pt inserted)原因有很多种，笔者遇到的情况是因为使用了\usepackage{subfigure}，导致类似于**\textwidth**等长度变量无法直接在子图里调用，官方建议是使用\usepackage{subcaption}。例如，原先代码为：\begin{figure}[htbp]\centering\vspace{-0

原因是因为没权限，尝试sudo，把文件夹(工作目录)的拥有者更改掉就行sudo chown -R username path 翻译自：https://stackoverflow.com/questions/66496890/vs-code-nopermissions-filesystemerror-error-eacces-permission-denied

如果用http协议，进行git操作的话，很有可能出现一些与账号授权相关的问题：如果是windos的话需要改一下上网凭据，MAcos也是类似，更简单，直接聚焦搜索钥匙串：选择登陆选项，找到自己的github上网密码：然后修改为自己的账号和token （现在github不支持密码登陆，只支持personal access token了，具体详见git错误：Support for password authentication was removed. Please use a personal ac

原论文：Cross-Lingual Syntactic Transfer through Unsupervised Adaptation of Invertible Projections主要是用无监督的方法，以多种metric的角度(比方说geography，syntax等…)去定义language之间的similarity，github上有开源，可以用pip down这个包pip install lang2vec然后使用他们pre-computed的array来获得你想要知道的某几种lang之间的s

转载自：解决git push时每次需要输入用户名和密码方法

这篇有用：解决安装 Ubuntu 后无法进入BIOS、UEFI 和Grub 引导

看了一下各种blog，是因为访问的时候受到国内DNS的污染,解析的地址并不是github分发的网络加速域名。*note*：可以使用ping github.com观测目前自己设备解析到的ip地址所以一般都是更改设备的host文件，直接访问github的CDN节点1. 找到自己的本地的host文件一般而言：windows系统的hosts文件的位置如下：C:\Windows\System32\drivers\etc\hostsmac/linux系统的hosts文件的位置如下：/etc/hosts

问题描述早上打算用jupyter 搞torch的时候，import torch时报错：No module 'torch' found但在命令行里却没有问题：查找资料得知jupyter 的编译路径并不是默认python库的路径，所以pip/conda下载的包jupyter是无法直接调用的。永久性解决办法网上看很多人推荐conda install nb_conda，然后jupyter里...

tensorflow 版本与cuda不对应详见：https://tensorflow.google.cn/install/source#linux

主要是要下载ipykernel之后再jupyter开启之后，手动切换kernel为目标环境：但是也不知道为啥，之前是没有这个问题的，只要在cmd里面activate,打开的jupyter就是对应的环境，现在还要手动换kernel，也是挺烦的…参考下面的博客：jupyter notebook无法使用conda环境的模块...

在使用overleaf的时候upload template之后出现上述报错，报错原因是因为\itemsize之类的原因，但是检查了自己的source之后并没有出现这种情况。之后发现是因为\bibliography囊括引用文件之后，却没有在正文中引用的原因。解决方案：去除引用，或者在正文中先引用一下。...

训练模型的时候如果用的是torch.nn.DataParallel封装的模型那么请设置多GPUCUDA = '0,1'os.environ['CUDA_VISIBLE_DEVICES'] = CUDA

问题原因：a,b=torch.tensor([1,2,3]),torch.tensor([1,2,3])lis.append(a)lis.append(b)torch.tensor(lis)不能把一个元素为tensor的list用torch.tensor进行封装解决把tensor转为lista,b=torch.tensor([1,2,3]),torch.tensor([1,2,3])lis.append(a.tolist())lis.append(b.tolist())torch.t

这种类型的报错一般是out of index引起的比方说，取tensor某个维度的时候(torch.index_select,etc.)，indices超过了max

问题描述安装了个tensorflow gpu，想要跑一份python3.5依赖的代码，装了之后运行报错原因是因为和cuda 版本不兼容：在hub上找到了类似的答复：由于是服务器，本人没有sudo组权限，没有办法使用一些现有的方法解决(如，更改reference，和其他的方法)随后搜索博客，发现比较新的tensorflow 2.4 才支持cuda 11.0:而tensorflow2.4又不支持python3.5了…因此迫于无奈，只能使用tensorflow cpu版本…所以又想诟病tf

更新pippip install --upgrade pip

解决方法，卸载apex，然后从source重新installpip uninstall apexgit clone https://www.github.com/nvidia/apexcd apexpython setup.py install参考：https://github.com/NVIDIA/apex/issues/116

问题描述pycharm中从同文件夹目录下导入其他.py文件和其他文件夹报错解决方法1如果要导入的包是一个文件夹，例如我想要导入同目录下的pytorch-pretrain-bert，由于我的环境里本来就是有pytorch-pretrain-bert这个包的，所以解释器默认会从后端path去编译，也就是两个包名重复了。最简单的办法是在导入包前面加上.，指明了要导入的包是当前py文件同路径下的，这样就消除了歧义解决方法2（推荐）上述的方法只能解决导入的是其他文件夹，但是如果要导入其他.py文件就不

在使用keras的时候自己构建了一个layer:class Neural_Tensor_layer(Layer): def __init__(self, output_dim, input_dim=None, **kwargs): self.output_dim = output_dim self.input_dim = input_dim if self.input_dim: kwargs['input_shape'] =

git clone出现错误：一开始以为网络问题，后来发现是因为github服务器的SSL证书没有经过第三方机构的签署, 删除SSL验证即可：git config --global http.sslVerify "false"

问题描述git push进行仓库修改的时候，一般都会弹出authentication，以前的话输入github的账号密码就能够成功验证，但是从上数报错可以看出，github于21年8.13就移除了账号密码验证，建议使用personal access token.解决方案1. 使用ssh免密登录一般github的clone链接都是用http协议，但其实比较建议用ssh协议。可以在本地设备生成ssh秘钥，然后在github上自己的账户里面添加该设备的秘钥，再使用ssh进行clone.具体操作见：添加

转载自：https://blog.csdn.net/qq_15192373/article/details/81231095就补充一点，再添加环境变量的时候，PATH一定要完全一致，末尾多一个空格也不行!!md，火大问题：Tensorflow安装完成以后，在终端中打开Python后，运行import Tensorflow是可以正常运行的，但是在Pycharm中却显示 ：ImportError: libcublas.so.8.0: cannot open shared object file: No