- 博客(7)
- 收藏
- 关注
RSS订阅原创 【V100显卡】 用vllm本地部署 QWEN3
:/mnt/data/wen/wen/hub/models/JunHowie/Qwen3-14B-GPTQ-Int8 这个路径换成自己的模型路径。---指定Attention计算的后端实现，【这里是最大的坑】 因为v100不支持flash attn 所以要用以前的办法。---- 配置PyTorch的CUDA内存分配器。希望大家也能布起来 vllm的kv cache做的还是可以的。海鲜市场可以买到配件 需要的可以自己diy。----指定vLLM工作进程的创建方式。----双卡，指定显卡。
2025-08-27 16:12:35
1519
1
原创 【Jupyter 】两步 安装及配置 （2025.8.25）
平时调试代码 万一在外面没有带vscode的 用jupyter还是很方便的 而且新手用jupyter学习python代码很友好 方便学习#假如本身有虚拟环境 llamafa 我想在jupyter里面使用 需要添加一下内核。---display-name：在 Jupyter 界面中显示的名字。--name：内核在系统中的标识名（建议用环境名）【第二步】注册环境到jupyter。这里日志有个token 复制下来。如果安装慢 自己换个源哈。【如何把虚拟环境加到内核】这时候就可以使用啦!贴上去之后就可以用啦。
2025-08-25 13:28:32
420
原创 ubuntu22.04 安装cuda-toolkit 12.4
本文记录了在Ubuntu系统上安装CUDA 12.4工具包的详细步骤：1）确认系统版本；2）从NVIDIA官网获取安装命令，依次执行下载、安装keyring、更新源和安装cuda-toolkit-12-4；3）安装配套的cuda-drivers-550；4）设置环境变量并写入.bashrc文件；5）特别强调不要使用Ubuntu官方仓库的nvidia-cuda-toolkit，因其版本陈旧且不兼容。最后通过nvcc -V验证安装是否成功。
2025-08-10 17:26:46
1105
原创 Ubuntu 用清华源安装 Miniconda 2025.8.7
记录一下 搜出来都是国外源 慢的不要不要 找到一个国内的 速度很快 强烈推荐大家。
2025-08-07 20:53:28
509
原创 【Gemini CLI】【5天4w个⭐star】 github爆火项目安装（2025.6.30）
最近Github上爆火的项目Gemini CLI 是 2025年6月25日 Google 官方出品的命令行AI 工具。谷歌在官方博客发布《Gemini CLI: your open-source AI agent》（Gemini CLI：你的开源 AI 代理），宣布推出这款开源AI终端工具，支持代码生成、多模态输入、自动化脚本。
2025-06-30 22:55:10
1150
原创 【Docker】2025在 Ubuntu 22.04上安装 Docker（ 2025.6.24）
本文介绍了2025年在Ubuntu 22.04系统上安装Docker的详细步骤，重点解决了国内用户访问Docker官网的网络问题。通过使用阿里云镜像源替代官方源，避免了网络连接不稳定带来的安装困难。具体步骤包括：系统更新准备、安装必要依赖、导入阿里云GPG密钥、设置镜像源、安装Docker组件以及验证安装。最后还提供了设置国内镜像加速的可选配置方案，帮助用户获得更好的使用体验。整个过程详细记录了可能遇到的问题和解决方法。
2025-06-24 15:25:32
1555
原创 cursor的ssh远程连接服务器失败（但vscode可以）解决方案2025.6.14
2025.6.14cursor的ssh远程连接失败（但vscode可以）解决方案
2025-06-14 22:45:34
7444
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人