jieshenai的博客

本文分享了在使用transformers库进行BERT模型训练时遇到的AttributeError: 'AdamW' object has no attribute 'train'错误的解决过程。通过查找相关信息，发现问题源于accelerate库版本过低，并通过将库升级至0.34.2版本成功解决报错。本文详细介绍了问题排查、版本更新的步骤，以及如何忽略更新中的警告提示，以帮助读者快速解决类似问题。

训练多个模型时，可能会遇到WandB 配置错误，尤其是在训练多个模型参数大小不一致的情况下。介绍如何解决因模型参数变化导致的WandB配置错误，具体报错信息为“Attempted to change value of key 'model/num_parameters' from xxxx to xxxx”。我们将探讨如何通过调用`wandb.finish()`来结束前一个模型的训练，并确保下一个模型的训练能够顺利进行。

PyCharm 无法启动 Jupyter 服务器。通过指定 IP 地址来解决问题的有效方案。最终，配置 PyCharm 的 Jupyter 设置后，成功运行了 .ipynb 文件。

是本地经过lora权重合并后的大模型路径，无论是使用相对路径还是绝对路径都会报错；进行大模型推理时，出现了报错，无法从本地路径导入大模型；升级一下 vllm 的版本就好了。

使用llamaindex 做RAG实验过程中，在利用BM25算相似度时，遇到了如下报错；给出了该报错的解决办法；

LangChain的Tool.from_function的args_schema报错

由tokenizer.decode报错开始，叙述笔者如何解决这个bug，并深入源码理清 decode 与 batch_decode的区别。

解决 doccano webserver 网页打不开 和 导出的数据集没有标注数据的问题

huggingface transformer 这个包，依赖 `tokenizers`包， `tokenizers` 使用了 Rust 多线程加速处理数据集。Rust的Bug。

pip install transformers[sentencepiece]

TrainingArguments 报错，降低transformers版本即可解决

SSLHandshakeException:报错的原因是，jdk1.8版本问题导致SSL调用权限上有问题。webmagic 0.7.3版本，在爬取只支持 TLS1.2的 https站点会报错。作者说会在0.7.4版本发布修复错误，从maven仓库中将0.7.3改成0.7.4。

mysql drop 卡死的原因及分析

在使用sphinx编写index.rst时，遇到了如下错误\source\index.rst:11: ERROR: Error in “toctree” directive:invalid option block.错误写法：.. toctree:: :maxdepth: 3 chapters/index正确写法：.. toctree:: :maxdepth: 3 chapters/indexmaxdepth后要多一个空行...

pytorch == equal() eq() return False

sys.meta_path is None, Python is likely shutting downself.driver.quit()，无法关闭chromedriver，会导致内存泄露。即使程序结束，chromedriver也会一直占用内存；如果你出现了上诉错误，你可以通过windows的任务管理器，可以看到chromedriver进程还在运行。bug说明: https://github.com/SeleniumHQ/selenium/issues/8571我的driver关闭代码def _

java.net.SocketException: Software caused connection abort: socket write errorat java.net.SocketOutputStream.socketWrite0(Native Method)at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:111)at java.net.SocketOutputStream.write(SocketOut

遇到了如下错误:raise AttributeError(f"Use item[{name!r}] = {value!r} to set field value"class Item(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()text = scrapy.Field()link = scrapy.Field()item = Item()item.text = textitem