- 博客(4)
- 收藏
- 关注
RSS订阅原创 LangChain+Llama3 实现LLM本地部署并通过文档实现RAG
使用git下载时（需要提前安装lfs），可能会遇到lfs下载大文件失败，可以在其余文件下载完成后，进入下载模型的主目录单独下载每一个大体积权重文件，命令如下。所需模型均可以在huggingface官网上找到源代码，其余包可以根据自身需要按官方所给名称分别安装。*.xxx表示权重文件的后缀名，差什么就下什么。实现代码如下，具体注释有空再补（相关依赖见。下载模型的镜像文件，也许会有些许滞后。
2024-09-26 20:34:11
1095
原创 Could not load library libcudnn_cnn_train.so.8.
cudnn使用的版本可能与cuda或是torch对应的版本不匹配（猜测），现在安装pip install pytorch时会自动安装一个cudnn，系统默认的cudnn版本可能还是之前的，所以用命令。查询，可以看到同时存在两个版本。我选择把8那个版本全部删了，保持9的版本。
2024-07-04 17:35:27
546
原创 dist.launch多进程运行，unrecognized arguments: --local-rank=1报错
在用distributed.launch运行多进程时，报错unrecognized arguments: --local-rank=1。官方推荐使用torch.run来替代launch方法，使用。
2024-06-06 17:25:39
528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人