白薅Cloud Studio云空间,部署ragflow,调用ollama本地模型,chat with 知识库

腾讯云空间Cloud Studio
DeepSeek接入个人知识库

1. 部署ragflow

git clone https://github.com/infiniflow/ragflow.git

使用docker部署,部署成功界面
ragflow

2. 部署成功后,可本地web访问

url中的设备名称(xxxxx)需要适配自己的

https://iedoua-xxxxx-80.app.cloudstudio.work/login

登录界面
ragflow欢迎界面

3. 添加模型(cloud studio 内置ollama服务)

http://host.docker.internal:8434
deepseek-r1:32b

说明:ollama添加LLM的基础URL:http://localhost:8434。本文档使用docker部署Ragflow,即部署好的Ragflow运行在云空间里的Docker,需要将 localhost 替换为 host.docker.internal,否则访问的是docker内的8384端口,添加失败。
ragflow接入模型界面

4. 系统模型设置

模型类别主流模型简介
聊天模型GPT-4、Claude 3、Llama 3、ERNIE Bot、Gemini支持多轮对话与复杂推理,适用于客服、创作等场景,部分模型支持多模态输入(如图像)。
嵌入模型text-embedding-3(OpenAI)、BERT、Sentence-BERT、CLIP、E5文本/图像转向量,用于语义搜索、推荐系统。CLIP支持跨模态图文匹配。
图像到文本模型BLIP-2、Flamingo、GPT-4V、Pix2Struct、Donut图像描述生成、视觉问答(VQA),GPT-4V等多模态模型可结合文本与图像分析。
语音到文本模型Whisper(OpenAI)、Wav2Vec 2.0、DeepSpeech、Conformer-2高精度语音转文字,支持多语言与噪声环境。Whisper包含大小模型版本以适应不同需求。
重排序模型Cohere Rerank、bge-reranker、SentenceTransformers Cross-Encoder对搜索结果优化排序,提升相关性。Cohere提供API服务,bge-reranker支持中英文。
TTS模型VITS、Tacotron 2、XTTS、Azure Neural TTS、ElevenLabs文本转自然语音,VITS支持端到端合成,ElevenLabs可克隆人声,Azure提供多语种预置音色。

对模型按需配置 ollama
在这里插入图片描述

5. 搭建知识库,chat示例

result

### 查看本地部署Ollama 模型 为了查看本地部署Ollama 模型,通常需要通过命令行工具或特定的应用程序接口来获取已安装模型的信息。具体操作取决于所使用的平台和环境配置。 对于大多数基于云的服务提供商,如Google Cloud Platform (GCP),可以通过Cloud Shell执行一系列预定义的操作来管理机器学习资源[^1]。然而,在处理Ollama这类更具体的框架时,则需遵循其官方文档中的指导方针。 假设当前环境中已经成功设置了Ollama并完成了模型训练与保存工作,那么可以采用如下方法查询现有模型: #### 使用命令行界面(CLI) 如果Ollama提供了CLI支持,可以直接运行相应的指令来列举所有可用模型。这通常是最快捷的方式之一。例如: ```bash ollama list-models ``` 这条命令会返回一个包含所有已加载到本地系统的Ollama模型列表。 #### 利用Python API脚本 当偏好编程方式交互时,编写一小段Python代码调用API函数也是可行的选择。下面给出了一种可能实现方案: ```python from ollama import api models = api.list_models() for model in models: print(f"Model Name: {model.name}") print(f"Version: {model.version}\n") ``` 这段代码利用`ollama.api`模块下的`list_models()`函数检索所有存储于本地磁盘上的模型实例,并打印它们的名字以及版本号。 请注意上述两种途径均假定读者具备一定的技术背景知识以便理解相关概念和技术细节;同时也建议查阅最新的官方手册获得最权威的帮助信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值