一、准备工作
-
软件安装
- 下载AnythingLLM桌面版(下载:Download AnythingLLM for Desktop)
- 安装Ollama(下载:ollama),用于本地部署DeepSeek R1模型
- 图文教程:DeepSeek本地部署教程+可视化界面+入门操作指南
-
模型部署
- 在命令行运行 ollama run deepseek-r1:7b 下载并启动模型(根据电脑配置选择参数版本,7B为基础推荐)
二、配置AnythingLLM
-
初始化设置
- 启动AnythingLLM,选择Ollama作为模型提供者,自动关联本地已安装的DeepSeek R1
- 配置嵌入模型(Embedding)和向量数据库(Vector Database),建议默认选择本地免费的LanceDB
-
创建工作区
- 新建工作区(如“企业知识库”),设置语言为中文以便操作
- 进入设置调整参数:温度值建议0.5-0.7,避免回答重复或不连贯(DeepSeek官方推荐)
三、知识库构建
-
上传文档
- 支持格式:PDF、Word、TXT、PPT、Excel、Markdown等
- 点击工作区上传图标,选择企业文档(如规章制度、产品手册)并添加到工作区
-
向量化处理
- 选中文档点击“Save and Embed”,将内容转换为模型可检索的向量形式
- 网页内容建议先整理为结构化数据(如Markdown)再上传,提升检索准确性
四、应用与测试
-
对话测试
- 在“New Thread”界面提问,如“公司年假制度是什么?”
- 模型会检索知识库内容并结合DeepSeek R1生成回答
-
高级功能
- 使用Agent能力:通过@调取网页抓取、SQL数据库连接等功能(需配置SearXNG/DuckDuckGo搜索引擎)
五、优势与注意事项
-
优势
- 数据本地化:所有流程在本地运行,避免敏感信息外泄
- 定制灵活:支持多工作区管理不同业务场景的知识库
- 成本低:免费开源方案,无需API调用费用
-
硬件要求
模型版本 CPU 内存 存储 7B i5/Ryzen5及以上 16GB 20GB -
常见问题
- 若回答不准确:检查文档结构是否清晰,尝试调整嵌入模型为HuggingFace-MiniLM
- 若启动失败:确保Docker环境正常(Windows需启用WSL2),避免端口冲突
通过以上步骤,可在2小时内完成从环境搭建到知识库部署,实现企业内部数据与通用AI能力的结合。