- 博客(7)
- 收藏
- 关注
原创 docker部署龙虾,一分钟搞定!
本文介绍了OpenClaw的Docker部署流程。使用openclaw/openclaw:latest镜像,通过docker-compose配置端口映射(18789)、环境变量和卷挂载。重点配置了openclaw.json文件,包含MiniMax API设置、代理模型配置和网关认证参数。启动后需通过指定token访问Web界面(如xxx:18789/?token=xxx),并可能遇到身份验证或模型配置问题。最后建议安装clawhub等skill扩展功能。所有配置文件需放置在data目录下,服务默认重启策略为
2026-03-12 16:52:41
575
原创 【新版本更新】Mineru2.5基于华为昇腾 310 系列、910B系列本地化部署Mineru2.5开源项目,性能飙升十倍??
本文档介绍了如何将Mineru升级到2.5版本并部署相关服务。新版本改用VLLM引擎提升NPU兼容性,需基于v0.10.2rc1版本的vllm-ascend镜像构建。部署步骤包括:1)拉取基础镜像;2)启动容器配置设备;3)安装Mineru核心依赖和模型;4)通过命令或Compose文件启动服务。文档提供了完整的Docker Compose配置示例,支持多设备并行和健康检查,并详细说明了GPU内存优化方案。
2025-11-10 15:36:57
2866
4
原创 Mineru2.0基于华为昇腾 310 系列、910B系列本地化部署Mineru2.0开源项目
本文详细介绍了在华为昇腾NPU设备上部署Mineru项目的完整流程。首先需下载对应版本的华为镜像包,然后通过docker run命令运行容器并挂载必要的设备目录。部署过程中需注意安装指定版本的依赖库(如accelerate 0.25.0、torch-npu 2.1.0等),配置本地模型路径,并解决可能出现的依赖冲突问题。最后通过mineru-api命令启动服务,支持pipeline模式处理PDF文件解析。文章还提供了离线部署方案,可将配置好的容器打包为新镜像。测试时可通过curl发送PDF文件到指定端口进行
2025-08-25 09:49:18
3558
24
原创 离线环境使用ollama部署DeepSeek模型。无GPU,CPU推理所以部署这个笨蛋
1.1 下载模型在有网络的环境下下载DeepSeek 1.5B的GGUF格式模型,资源足够的话,理论上你想部署啥就部署啥模型:推荐去hugginface下载或者魔搭:这里我是魔搭下载的量化版:https://modelscope.cn/models/ggml-org/DeepSeek-R1-Distill-Qwen-1.5B-Q4_0-GGUF/files下载ubuntu官方镜像:docker pull ubuntu:22.04。
2025-04-16 15:07:41
1452
原创 李沐重返母校上海交大,从LLM聊到个人生涯,这里是演讲全文【强烈安利】
8.23日,李沐回到了母校上海交大,做了一场关于 LLM 和个人生涯的分享。图源:上海交通大学特聘教授俞勇朋友圈。图源:上海交通大学特聘教授俞勇朋友圈。图源:上海交通大学特聘教授俞勇朋友圈。Hi!大家好,说我是计算机杰出校友有点不敢当。很多年没有回来,这次回国想见一见本科导师。我的 AI 启蒙导师李老师说,来都来了,要不做个报告吧。本来我想讲一些关于语言模型的知识,但听讲座的各位不一定都是这个方向,所以我加了一些这些年转了很多地方、做出的不同选择的感想。
2024-08-27 09:03:06
1849
原创 哈萨比斯:谷歌想创造第二个Transformer,还想把AlphaGo和Gemini强强联合
当一家人工智能公司的首席执行官更像是计算机科学家而不是推销员时,我感觉更舒服」。对于 DeepMind 来说,2023 是充满变化的一年。这年的 4 月份,谷歌宣布将 Google Brain 和 DeepMind 进行合并,成立名为 Google DeepMind 的新部门。新部门将在保持道德标准的同时,引领突破性的 AI 产品研究和进步。
2024-08-21 15:54:57
1845
原创 【英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强】
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。上个月,Meta 发布了 Llama 3.1 系列模型,其中包括 Meta 迄今为止最大的 405B 模型,以及两个较小的模型,参数量分别为 700 亿和 80 亿。Llama 3.1 被认为是引领了开源新时代。然而,新一代的模型虽然性能强大,但部署时仍需要大量计算资源。
2024-08-18 11:47:07
2012
1
【DevOps与AI集成】基于Docker的OpenClaw本地化部署指南:Linux环境下Minimax大模型网关配置与技能扩展实践
2026-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅