- 博客(2)
- 收藏
- 关注
RSS订阅原创 langchain自定义vllm chat model实现知识库RAG快速推理
完整项目：我实现的是一个用langchain框架结合知识库RAG然后用Qwen2-7b-Instruct模型推理的项目。原本方法：继承langchain.llms.base import LLM类 实现一个CustomLLM。这样之后就可以实现在langchain框架下用自定义的vllm chat model来实现高效率的推理了。
2024-08-07 15:48:34
306
原创 Huggingface load gated dataset问题
正常运行完之后会要求出入你的access token,把刚刚复制的access token粘贴。1.先在huggingface官网对应的数据集页面获得权限。2.然后复制自己profile下的access token。3. 进入服务器终端安装huggingface_hub。4. 服务器登陆huggingface。5.重新运行业务代码即可。即访问的数据集需要验证。
2024-07-21 20:15:00
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人