一些bug问题求解

一个老丁头

已于 2023-12-08 14:46:33 修改

阅读量290

点赞数

文章标签： bug

于 2023-02-15 19:05:25 首次发布

本文链接：https://blog.csdn.net/weixin_43881931/article/details/129023673

版权

1.en_core_web_sm模型下载

（1）问题描述

OSError: [E053] Could not read config.cfg from C:\Users\pc\AppData\Local\Programs\Python\Python38\Lib\site-packages\en_core_web_md\en_core_web_md-2.2.5\config.cfg。

（2）问题原因

spacy和模型版本不匹配。

（3）解决方法

官网下载对应版本模型。我的spacy是3.5.0，en_core_web_sm模型下载的3.1.0.

参考：

OSError [E053] Could not read config_Fitz1318的博客-CSDN博客

2.nltk_data的punkt加载错误

（1）问题描述

  Resource punkt not found.
  Please use the NLTK Downloader to obtain the resource:

（2）问题原因

包的路径里面，nltk_data下的tokenizer里面没有找到punkt这个文件夹，是因为没有下载，或者下载了没有解压。

（3）解决办法

在官网（https://www.nltk.org/nltk_data/）下载需要用到的模块，到报错的路径解压即可。

注意：报错信息会提示你的nltk_data都在哪些位置寻找过。若还报错，注意你解压的位置是否排在第一顺位。

3.RuntimeError: each element in list of batch should be of equal size

（1）问题描述

pytorch自己写的dataloader报的错，报错如题。

（2）问题原因

我的dataset也是重写的自己的，但是我这个数据集是0到1亿的一批随机数，然后拆分成字符串，比如1000拆分成1,0,0,0四个字符串。但是生成的随机数有四位的，有七位的，位数不统一，那么就会报这个错。

（3）解决办法

我的随机数从1亿到9亿之间生成，保证字符数相同。

4.RuntimeError: Expected all tensors to be on the same device, but found at least two devices

（1）问题描述

张量tensor不在一个设备上。

（2）问题原因

我在转到GPU上训练时候，模型直接用model.to(device)可以，但是输入的数据to(device)后必须用变量接，否则还是在原来设备上。

（3）解决办法：

数据转移到GPU上后用变量接。

# 模型训练
device = 'cuda' if torch.cuda.is_available() else 'cpu'
# 模型直接to就可以了，不用接。
model.to(device)
def train(epoch,device):
    mode = True
    model.train(mode)
    train_dataloader = get_dataloader(mode)
    for idx, [data, target] in enumerate(train_dataloader):
        # 数据在转移到GPU上后，需要用变量接。单纯的data.to(device)不够。
        data = data.to(device)
        target = target.to(device)
        # 模型.to(device)之后，运算出的结果就转到了device。
        output = model(data).to(device)
        optimizer.zero_grad()
        loss = f.nll_loss(output, target)
        loss.backward()
        optimizer.step()
        if idx % 500 == 0:  # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' % (epoch + 1, idx + 1, loss.item()))
            torch.save(model.state_dict(), model_path)
            torch.save(optimizer.state_dict(), optimizer_path)
    print("Finish Training step %d" % epoch)

to(device）需要注意的是：
使用GPU训练的时候，需要将模型和数据转到device上，但要注意：

（1）对于tensor数据，需要用变量去接返回值。

（2）对于model，直接model.to(device)即可。

5.TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, fl

（1）问题描述

我的collate_fn函数把numpy转换成LongTensor时候报错。

（2）问题原因

自己重写的DataSet类，里面数据处理时候，有些句子长度大于我设置的max_length，导致同一批次的输入长度不一致而报错。

（3）解决办法：

把原始数据处理成不大于max_length的句子。

6.导包时候识别不到本地的包，导致导包失败。

（1）问题描述