部署LLM项目

1. 部署开源项目Dify

Dify项目地址

• 克隆Dify项目到本地
• 安装docker到本地
• 进入项目目录下，执行下面命令

cd docker
docker compose up -d

2. 部署基于 weaviate 向量数据库的 RAG 项目

1. 部署向量数据库
   git clone当前项目docker-compose
2. 改配置进入cat docker-compose.ya ml，文件内容如下：

---
version: '3.4'
services:
 weaviate:
   command:
   - --host
   - 0.0.0.0
   - --port
   - '8080'
   - --scheme
   - http
   image: cr.weaviate.io/semitechnologies/weaviate:1.24.2
   ports:
   - 8080:8080
   - 50051:50051
   volumes: 
   - weaviate_data:/var/lib/weaviate
   restart: on-failure:0
   environment:
     QUERY_DEFAULTS_LIMIT: 25
     AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'true'
     PERSISTENCE_DATA_PATH: '/var/lib/weaviate'
     DEFAULT_VECTORIZER_MODULE: 'none'
     ENABLE_MODULES: 'text2vec-cohere,text2vec-huggingface,text2vec-palm,text2vec-openai,generative-openai,generative-cohere,generative-palm,ref2vec-centroid,reranker-cohere,qna-openai'
     CLUSTER_HOSTNAME: 'node1'
volumes:
 weaviate_data:
...

意味着当前项目下存在weaviate文件夹，yaml文件在这个文件夹下。
3. 执行docker compose up来运行docker。 部署的网址是http:localhost:8080。
4. 页面成功访问到显示向量数据库的json网站
5. git clone项目Verba
6. 进入项目文件夹，执行命令pip install -e .
7. 执行命令verba start,访问网站地址http://localhost:8000，效果如下

8. 修改verba项目中的.env内容中的WEAVIATE_URL_VERBA的地址从云端到本地地址http://127.0.0.1:8080。同时注释掉WEAVIATE_API_KEY_VERBA，如果使用本地的OLLAMA，也可以同时修改URL,MODEL,EMBED_MODEL。重新启动verba start。可以看到初始化的向量数据库数据，

Tips:

1. python版本必须是3.11.2。
2. 向量数据库也可以云端搭建，14天免费，长期20$/月，上传请求API地址，得到API KEY。
3. 对于公司需求包含机密文档的，可以底层直接本地搭建。