自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 TensorRT-LLM Docker镜像制作

在trt-llm的docker中默认的基础镜像是nvcr.io/nvidia/pytorch:23.08-py3。因此,尝试在该基础镜像中安装trt-llm。步骤:1. 宿主机联网,启动容器,容器内也要联网2. 在容器内拉取TensorRT-LLM仓库3. 安装必要的依赖,然后构建tensorrt_llm的whl注意:该过程中,安装tensorrt过程比较长预留出至少100G左右的磁盘空间此外,还可以直接按照官方方法安装。

2023-10-26 14:47:29 592

原创 langchain优化方案

介绍langchain及可能的优化方案

2023-08-04 11:21:52 1627 1

原创 llama/llama2论文解读

对meta开源的llama和llama2的技术部分做了翻译和部分解读。

2023-08-04 11:14:36 1583 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除