weixin_43278082的博客

答案是新建一个logging_config.py 文件进行logger的管理与配置。下面是一个我自己常用的日志配置文件。logger是一个全局的概念，只要我们配置好对应名称的logger之后，只需要在各个文件中通过。通常一个python项目是由很多的python文件组成的，那我的logger应该如何配置呢？但是日志的使用一直没有搞清楚，写这篇博客进行梳理记录一下。即可获取相应配置好的logger。

下载完上面的两个文件之后可以进行离线安装，安装顺序为先安装torch，然后再安装vllm。安装完torch之后，安装vllm的时候就会检测到torch已经安装并且满足要求，就会略过torch的安装，这也是核心所在。最新版本的vllm基本都需要pytorch版本2.4.0或者2.5.0。会默认使用CUDA12进行编译安装，导致安装失败。但实际操作中也会出现一些问题，下面介绍一下我平时探索出的安装方法。没有具体的包含所有whl的网站，大家可以去。下面给出一个最新的支持cu118的版本。

huggingface官方提供了大模型的评测体系，并在提供了运行评测的方法，可以在本地对自己的模型进行评测，得到各个指标的结果。

在Linux服务上手动安装ollama

运行下面的命令，默认host为0.0.0.0，默认端口为8000，也可以通过--host --port指定。使用chatglm等模型时，请指定 --trust-remote-code参数。调用时可以用下面测试，注意model参数一定要传。SamplingParams 类中的说明。中的sampling_params。按照说明安装就可以了，不赘述。到vllm的GitHub仓库。其他更多的参数请参照。具体参数的含义请参照。

个人推测是c++的什么库缺少，导致有未定义的符号出现。