开发个人Ollama-Chat--6 OpenUI

cloud_ether

已于 2024-07-15 13:26:54 修改

阅读量536

点赞数 4

分类专栏： gpts ollama 文章标签： AIGC llama docker 云原生 golang

于 2024-07-09 17:36:30 首次发布

本文链接：https://blog.csdn.net/qq_36652517/article/details/140301847

版权

gpts 同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

ollama

11 篇文章 0 订阅

订阅专栏

开发个人Ollama-Chat–6 OpenUI

Open-webui

open webui

Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种 LLM 运行器，包括 Ollama 和 OpenAI 兼容的 API。

功能

由于总所周知的原由，OpenAI 的接口需要密钥才能使用，然后中国区是无法正常申请到密钥的，所以 OpenAI 和 liteLLM 需要巧妙的跳过。

例如在 model相关接口时，需要在前端主动屏蔽掉，防止其他页面无法正常加载。

const getModels = async () => {
		let models = await Promise.all([
			await getOllamaModels(localStorage.token).catch((error) => {
				console.log(error);
				return null;
			}),
			// await getOpenAIModels(localStorage.token).catch((error) => {
			// 	console.log(error);
			// 	return null;
			// }),
			// await getLiteLLMModels(localStorage.token).catch((error) => {
			// 	console.log(error);
			// 	return null;
			// })
		]);

		models = models
			.filter((models) => models)
			.reduce((a, e, i, arr) => a.concat(e, ...(i < arr.length - 1 ? [{ name: 'hr' }] : [])), []);

		return models;
	};

本项目主要涉及 openwebui-backend-go 的开发与部署，不会对 前端 服务进行深入的讲解。后续Open-webui的页面，涉及到 OpenAI 和 liteLLM 时，可以直接屏蔽掉，防止其他页面无法正常加载。