python
hampeter
这个作者很懒,什么都没留下…
展开
-
python的multiprocessing中的Pool线程池为什么失效
记录一下很奇怪的现象,代码如下,如果import ipdb,那么Pool就无法正常运行。#! usr/bin/python3.6# -*- coding:utf-8 -*-import timeimport osimport randomfrom multiprocessing import Pool# from ipdb import set_tracedef run_task(name): print("Task %s (pid=%s) is running..." %(nam原创 2022-01-30 09:49:55 · 1711 阅读 · 0 评论 -
OSError: Distant resource does not have an ETag, we won‘t be able to reliably ensure reproducibility
错误描述及解决:当我在启动LTP的时候出现了该错误,因为之前是可以运行的,当时的状态是无网络状态,我怀疑是不是网络问题,因此我打开网络就又可以运行了。我怀着打破砂锅问到底的精神看来一下该问题的来源,来自于transformers的requests请求出错,确实跟网络有问题,但是奇怪的是我之前可以运行。网上有换transformers的解决方案,我想着反正现在我在离线也是可以运行就没折腾了。很奇怪,所以记录一下。...原创 2021-12-08 09:57:19 · 1052 阅读 · 1 评论 -
解决import ltp 出现 core dumped的问题
我在运行import ltp的时候,出现了core dumped的问题。然后我就下载了git源码,编译还是出现了一样的错误,于是我就一步步调试发现了报错点在:from transformers import AutoModel因此我怀疑是transformers出了问题,我用的是4.7.0版本。经过查找,sentencepiece==0.1.92 causing segmentation fault #4857,知道了sentencepiece版本太高了,回退一个版本问题就解决了。...原创 2021-12-03 22:06:08 · 440 阅读 · 0 评论