Dlite的技术笔记

以上方法中，设置环境变量通常是最简单且有效的方式，因为它不需要修改系统级别的配置，而且可以针对特定的命令或脚本进行设置。之后，每次打开终端时，该环境变量会自动设置。如果使用的是其他 shell，比如 zsh，可能需要编辑。来指定下载时使用的镜像站。这种方法不需要修改系统的 DNS 设置，只需在的用户目录下的。请注意，这种方法可能不是最佳选择，因为它会将所有对。工具来下载模型，可以在命令中指定。参数来指定下载目录，同时设置。，可以稳定下载不断线。是本地存储模型的目录。是要下载的模型名称，是要下载的模型名称。

根据提示修改“/usr/local/lib/python3.10/dist-packages/vllm/utils.py”，注意不同环境下vLLM安装路径不同。这个bug会在vLLM 0.3.4修复。这段代码的功能是获取本机ip地址。