- 博客(10)
- 收藏
- 关注
RSS订阅原创 在docker容器中安装cmake
项目要求我要在docker中安装cmake，但是网上大部分方法要么是在宿主机上安装，要么是需要写一个Dockerfile然后重启创建一个容器。然后我尝试了在现有的容器中进行安装最终成功，安装过程参考了这篇文章。
2025-05-21 10:17:43
240
原创 4月14日 实习日记 | vllm源码解读 (一)
通过使模型类的构造函数统一，模型运行器可以轻松地创建和初始化模型，而无需知道特定的模型类型。通过使构造函数统一，我们可以轻松地创建视觉模型和语言模型，并将它们组合成视觉语言模型。启动服务的话，会执行vllm/entrypoints/cli/main.py 这个文件，解析命令行的参数，然后这个文件里又包含了下面三行，会遍历 CMD_MODULES 列表，对各个模块的子命令进行初始化。这个类当中，首先可以看到的第一个功能性函数是 generate()，需要关注的参数是prompts，可以是单个值或者一个序列、
2025-04-14 17:10:40
751
原创 在docker中使用vLLM部署大模型
注意，如果在启服务的时候遇到了下面这个错误，需要进入到模型所在的文件夹，找到config.json，修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意，–limit-mm-per-prompt参数尽量加上，如果不加的话，一个对话里最多只能有一张图片，多了就会报错400，这里我随便设成了5，一个对话中对于5张图片就会报400。这个网站就可以实现，直接把转换内容替换到上面 “url” 的值就可以了，因为那个编码太长了，贴一张图片作为例子。
2025-04-11 15:04:24
2135
1
原创 4.10 实习日记
模型占用显存的情况以及加载模型过后可用的显存情况在vllm源码中/v1/worker/gpu_worker.py中的determine_available_memory函数中，相关的代码段是。KVcache对于显存的需求量在vllm源码中v1/core/kv_cache_utils.py文件的check_enough_kv_cache_memory函数中定义的，具体代码段时。找到一个安装了modelscope的conda环境，进入checkpoints文件夹，执行下载命令。请求时，会出现内存不足的情况。
2025-04-11 11:37:22
935
原创 4.9 实习日记
昨天已经把vllm.tar传到了10.20.25.250这台机器的/home/zhangzichao/docker_images下面，使用下面的命令构建镜像加载好镜像之后，采用下面的命令启动一个容器，用于部署vllm因为第一次在250这台服务器部署应用，所以在运行上面的命令之前，需要先使用查看本机没有被占用的端口，最后选定启动容器之后，直接从vscode中进入容器内部，实质上也是执行下面的命令然后启动vllm服务。
2025-04-09 18:31:50
859
原创 4.8日 实习日记
首先要在服务器中的一个docker中启动vllm服务启动成功使用测试脚本测试最大并发数lenlenlenlenlen这段代码是超哥写的测试代码。但是这段代码有一个问题，经过调试以及阅读博客，发现流式响应response对象中没有usage对象，没办法统计提问消耗的 token，回答消耗的 token，以及总共消耗的 token 数。，我在网上找到了这个帖子，里面说可以通过 tiktoken进行统计。然后我让deepseek写了一段代码来统计这些数据。一堆#的地方是我改动过的地方。
2025-04-08 18:33:50
751
原创 Leetcode：二叉树层序遍历
而这种层序遍历方式就是图论中的广度优先遍历，只不过我们应用在二叉树上。层序遍历一个二叉树。就是从左到右一层一层的去遍历二叉树。需要借用一个辅助数据结构即队列来实现，
2025-03-21 21:03:06
234
原创 代码随想录训练营第三天
链表是一种通过指针串联在一起的线性结构，每一个节点由两部分组成，一个是数据域一个是指针域（存放指向下一个节点的指针），最后一个节点的指针域指向null（空指针的意思）：下面就是单链表。
2025-03-15 17:39:03
302
原创 代码随想录第一天|移除元素、移除元素、有序数组的平方
示例 1: 给定 nums = [3,2,2,3], val = 3, 函数应该返回新的长度 2, 并且 nums 中的前两个元素均为 2。示例 2: 给定 nums = [0,1,2,2,3,0,4,2], val = 2, 函数应该返回新的长度 5, 并且 nums 中的前五个元素为 0, 1, 3, 0, 4。输入: nums = [-1,0,3,5,9,12], target = 9。输入: nums = [-1,0,3,5,9,12], target = 2。元素的顺序可以改变。
2025-03-13 00:07:30
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人