A15216110998的专栏

摘要： 在多卡部署Qwen2.5-32B-VL大模型时，vLLM框架因依赖张量并行（TP）导致PCIe通信瓶颈而卡死，而Ollama（基于llama.cpp）通过流水线并行（PP）实现稳定运行。测试环境为4张NVIDIA A30显卡（无NVLink），vLLM的高频All-Reduce通信（每token需80次同步）在PCIe弱互联下引发死锁；而Ollama按层切分模型，仅需3次跨卡传输/Token，显著降低通信压力。实验表明，在非NVLink环境中，PP比TP更适配大模型分布式推理。

基于Vue3开发的极简AI聊天界面，专为解决算法和后端开发者的可视化痛点而生。它完美复刻DeepSeek官网的交互体验，无需登录即可快速部署，让模型调试和演示变得简单高效。支持流式输出和打字机效果，能优雅展示Markdown格式的代码块、标题等复杂内容。开发者只需修改IP配置就能对接后端服务，模块化设计让移植变得轻松。内置中断响应、多轮对话、时间戳等实用功能，请求参数可自由定制。

公司网络是有严格限制，所有涉及境外服务器的网站都无法访问，包括docker等镜像源。本教程，是在提前下载或构建好资源，通过上传到服务器后，做离线部署。

兼容性最为广泛的多平台多语言OCR工具，它完全开源免费，并支持离线环境下的快速部署。其核心亮点在于采用ONNXRuntime作为推理引擎，相比传统的PaddlePaddle推理引擎，速度实现了4至5倍的提升，同时彻底解决了内存泄露问题，确保了高效稳定的运行。🦜默认支持中文与英文识别。

项目自动部署说明【以KuaiDaSearchApi项目为例】项目文件如下：发布使用的文件脚本为Dockerfile、run.sh。Python项目依赖包文件为requirement.txt，python版本为3.6。展开Dockerfile如下，此为docker脚本文件自行学习，重点入口在最后一行运行的函数：CMD python /project/web_service/service.py， 其他为运行环境构建。通过该dockerfile，即可构建出docker容器，并运行。展开

首先说下我电脑的环境：centos7 x86-64： uname -r 命令显示为3.10.0-1160.el7.x86_64 ；物理显卡为单卡2080ti ；gcc通过yum安装，yum install gcc 版本为4.8.5, 同时会显示安装一些其他包，如glibc版本为2.17 ；安装准备以下为驱动和官网文件名一致， 可到nvidia官网下载，选择历史版本，选择rpm(local)模式。也可尝试我关联的链接：cuda-repo-rhel7-10-0-local-10.0.130-4

centos、docker、python等开发运维常用处理命令dockerdocker images ： 显示所有docker镜像, docker build 之后查询用。docker ps -a ： 显示所有容器，包括已退出的容器。-a 会显示名称和已退出容器。docker exec -it 容器名称 /bin/bash ： 切换到docker已up容器d的bash环境。docker logs -f -t --tail=100 容器名称 ： 查看docker前台任务命令行输出的log。dock

命令行执行bash中的传参相对路径问题 智能学习算法中，经常靠命令行传参+Argparse的方式运行，项目结构如下： run.sh的内容如下：![run.sh](https://img-blog.csdnimg.cn/20190923113633687.png?...

平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。2. 取对数后，可以...