- 博客(3)
- 收藏
- 关注
原创 TensorRT-LLM Docker镜像制作
在trt-llm的docker中默认的基础镜像是nvcr.io/nvidia/pytorch:23.08-py3。因此,尝试在该基础镜像中安装trt-llm。步骤:1. 宿主机联网,启动容器,容器内也要联网2. 在容器内拉取TensorRT-LLM仓库3. 安装必要的依赖,然后构建tensorrt_llm的whl注意:该过程中,安装tensorrt过程比较长预留出至少100G左右的磁盘空间此外,还可以直接按照官方方法安装。
2023-10-26 14:47:29 777
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人