基于LangChain-Chatchat + Ollama + Qwen2-7b搭建本地私有中文知识库和 chatGPT(Ubuntu24 纯CPU)

前言
目前好多优秀的开源大模型,如Meta的 llama 3.1、阿里的 qwen2、谷歌的 gemma2,都各有千秋,甚至媲美 chatGPT-4,最近公司准备搭建一套知识库,从数据安全考虑,准备利用网上开源的大模型和部署框架搭一套试试效果,这里记录下过程。

一、项目环境

操作系统:Ubuntu24(无显卡,虚拟的一个16核/32G/500G硬盘的服务器)
Python:3.9(Anconda3)
LLM大模型:qwen2-7b
Embedding模型:quentinz/bge-large-zh-v1.5
模型部署框架:Ollama
应用集成框架:LangChain-Chatchat

二、项目部署

  1. 创建 Python3.9 环境(自行安装好 Anconda3),这里直接开始创建环境,执行以下命令:
conda create -n chatchat python=3.9
conda activate chatchat
  1. 安装Ollama,执行以下命令:
curl -fsSL https://ollama.com/install
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值