随着 AI 编程工具的迅猛发展,从早期的 Code Copilot(代码辅助)到如今备受瞩目的 Cursor、v0、Windsurf 和Bolt.new 等全栈开发平台。这些创新工具旨在加速项目开发、简化工作流程并提高研发效率。然而,访问这些工具通常依赖于“通畅的网络”和海外 LLM 模型,在某些情况下可能成为使用这些工具的障碍。
作为一位大模型的爱好者和学习者,老牛同学今天分享一条不同的路径——如何利用本地 Ollama 和国内的大模型 API,在本地部署和使用 Bolt.new?
以下是老牛同学录制的本地部署和使用Bolt.new的视频:通过一句话,即可自动完成整个小项目的代码编写和部署预览。
1. Bolt.new 概览
Bolt.new是由 StackBlitz 推出的一款革新性的 AI 驱动全栈开发平台,它以几个关键特性脱颖而出:
-
即时全栈环境:借助 WebContainer 技术,Bolt.new 能够在浏览器中直接运行真实的 Node.js 环境,支持 npm 包安装、服务器配置及第三方 API 交互,为开发者提供了前所未有的便捷性。
-
智能 AI 助手:内置的强大 AI 功能可以理解并执行复杂的指令,无论是创建文件、编辑代码还是解决问题,都能显著提高工作效率。特别是其一键修复错误的功能,能够自动处理编译或运行时出现的问题,极大地节省了时间。
-
简易部署流程:集成的聊天界面让用户可以直接上传代码至云端,并选择合适的托管服务(如 Vercel)进行部署。生成的应用程序可以通过 URL 轻松分享,促进团队协作和成果展示。
尽管 Bolt.new 带来了诸多便利,但也存在一些局限:
-
缺乏版本控制:代码调整可能导致原有版本被覆盖,增加了数据丢失的风险。
-
频繁重新生成和部署:每次修改需求时,Bolt.new 会重新生成整个代码库并部署,需要较长时间。
对于快速原型设计和全栈功能开发,Bolt.new 凭借其完整的开发环境、智能化的辅助工具和简便的协作机制,是一个不错的选择。
2. 本地部署 Bolt.new
准备本地大模型
Bolt.new 底层依赖 LLM,我们先准备 2 个 LLM 选项:本地运行 Ollama,和 API 调用的远程 LLM 服务(非必须)
- 本地 Ollama:建议下载和启动Qwen2.5-Coder-7B模型:
ounter(line``ollama run qwen2.5-coder:7b
- LLM 服务 API:Ollama 依赖电脑硬件配置,如果电脑硬件条件有限,我们还可以直接用户大模型服务 API,只需要兼容 OpenAPI 接口标准即可(老牛同学用的是百炼平台 Qwen2.5-Coder-32B 大模型)。
下载和配置 Bolt.new
官方提供的 Bolt.new 并不直接支持本地 LLM 或自定义 API 设置。幸运的是,社区牛人coleam00基于官方版本开发了一个增强版——bolt.new-any-llm,该版本不仅兼容多种 LLM,还能灵活配置 API 接口。
- 克隆项目仓库:
ounter(lineounter(line``git clone https://github.com/coleam00/bolt.new-any-llm bolt.new-any-LLM``cd bolt.new-any-LLM
- 配置环境变量:复制
.env.example
为.env
,然后根据实际情况编辑.env
配置文件中的 API 地址和密钥。例如,Ollama 需要设置OLLAMA_API_BASE_URL
参数,国内模型 API 服务,则需要设置OPENAI_LIKE_API_BASE_URL
和OPENAI_LIKE_API_KEY
这 2 个参数。
ounter(lineounter(line``# 复制配置文件``cp .env.example .env
然后,打开.env
配置文件,可以看到支持的模型列表,包括 GROQ、HuggingFace、Open AI 等,根据需要进行内容修改:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(line``# Ollama配置``OLLAMA_API_BASE_URL=http://localhost:11434``# 【可选】 老牛同学使用的是百炼平台``OPENAI_LIKE_API_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1``OPENAI_LIKE_API_KEY=真实Key内容
说明:OPENAI_LIKE_API_BASE_URL
和OPENAI_LIKE_API_KEY
意思就是兼容 OpenAI 接口标准的大模型地址和 API Key,目前国内厂商基本都支持 OpenAPI 接口标准。
Bolt.new 项目部署
为了加快 Node.js 包下载速度,我们可以设置一下镜像源(老牛同学使用的是淘宝镜像):
ounter(line``npm config set registry https://registry.npmmirror.com
其他镜像源如下列表,请按需选择:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line``NPM官方: https://registry.npmjs.org``淘宝镜像: http://registry.npmmirror.com``阿里云镜像: https://npm.aliyun.com``腾讯云: https://mirrors.cloud.tencent.com/npm``华为云: https://mirrors.huaweicloud.com/repository/npm``网易: https://mirrors.163.com/npm``中科大: http://mirrors.ustc.edu.cn``清华: https://mirrors.tuna.tsinghua.edu.cn
然后,我们执行以下命令来安装依赖并启动 Bolt.new:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line``# 安装pnpm包管理工具``npm install -g pnpm``# 安装项目依赖包``pnpm install``# 启动Bolt.new``pnpm run dev
启动成功后,我们可以看到如下输出信息:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line``>pnpm run dev``> bolt@ dev D:\CodeSpace\bolt.new``> remix vite:dev` `➜ Local: http://localhost:5173/` `➜ Network: use --host to expose` `➜ press h + enter to show help
接下来,我们开始体验本地化的 Bolt.new!
3. 使用 Bolt.new 进行开发
通过浏览器打开 Bolt.new 本地地址:http://localhost:5173
首先可以看到如下页面,与官方相比,多了一个Model Settings的选项,在这里我们可以选择自己的模型:
Bolt.new设置模型
我们可以选择 Ollama 模型(如上图),也可以选择配置过OPENAI_LIKE_API尝试模型(如老牛同学百炼平台 API 模型):
OpenAI接口模型
选择完模型,我可以输入我们的需求:写一个计算器页面
接下来的过程,就是老牛同学上面录制的视频所示了。
Bolt.new 可以根据我们的一句话内容,自动拆分成不同的小步骤:
拆分实现步骤
然后,自动生成完整的项目结构和执行步骤,包括文件名等:
项目结构和步骤
在右侧,显示源文件列表和动态展示每个文件生成过程:
源文件列表和内容
最终,所有源代码研发完成,自动部署整个和提供预览:
项目部署和预览
接下来,如果我们觉得哪里需要修改、或者有什么报错,直接提问,Bolt.new 会自动进行修改并部署和预览!
4. 总结
Bolt.new只需通过自然语音,就能实现全栈研发和自动部署的能力,对于追求高效开发和快速交付的团队而言,这是一个值得尝试的工具。
友情提示:对于保密性较高、或数据安全要求较高的项目,通过调用外部大模型 API 服务使用 Bolt.new 工具时,请注意数据安全问题!
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。