- 博客(4)
- 收藏
- 关注
RSS订阅原创 Linux本地复现 open_llm_leaderboard 评测
huggingface官方提供了大模型的评测体系，并在提供了运行评测的方法，可以在本地对自己的模型进行评测，得到各个指标的结果。
2024-09-24 14:16:19
358
原创 使用vllm部署ChatGLM2并提供兼容 OpenAI 的 API Server实现异步访问
运行下面的命令，默认host为0.0.0.0，默认端口为8000，也可以通过--host --port指定。使用chatglm等模型时，请指定 --trust-remote-code参数。调用时可以用下面测试，注意model参数一定要传。SamplingParams 类中的说明。中的sampling_params。按照说明安装就可以了，不赘述。到vllm的GitHub仓库。其他更多的参数请参照。具体参数的含义请参照。
2023-12-12 11:14:45
6308
原创 解决使用docker加载模型报错/opt/hpcx/ompi/lib/libmpi.so.40: undefined symbol: opal_hwloc201_hwloc_get_type_dept
个人推测是c++的什么库缺少，导致有未定义的符号出现。
2023-11-03 11:19:36
1315
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人