星哥来了-CSDN博客

原创 LiteLLM/One-Api 统一各种大模型接口通过OpenAi格式访问

在我们调用其他大模型如Ollama，Gemini，OpenAi，Qwen等等，他们返回的格式都不太一样，这样每次接入这些接口相对都比较麻烦进行格式调整，LiteLLM统一了这些Api调用方式，通过配置，对应厂商的Api接口，都可以通过OpenAi接口的格式进行调用。项目可以直接提供了docker-compose一键部署。

2024-09-19 11:06:38 246

原创使用kubeadm-ha脚本一键安装K8S

Kuboard是一款免费的Kubernetes图形化管理工具，力图帮助用户快速在Kubernetes上落地微服务。Kuboard_Kubernetes教程_K8S安装_管理界面。

2024-09-06 15:38:05 1020

原创 LLM知识存储ChromaDB向量数据库应用

以下代码做了基础测试，创建集合、文字转向量、插入集合、检索数据具体的可以查看Swagger文档提供了更多的操作，运行当前代码可以根据语意搜索到对应的内容，文字转向量需要部署应用Xinference。

2024-08-13 11:25:21 237

3、编写python代码，运行当前代码会获取百度页面的内容，通过pyppeteer api你可以获取当前网页的数据，爬取你想要的信息、pyppeteer 可以去官方查看api功能十分强大，可以模拟点击、跳转、登录登操作，完全模拟用户的操作行为，进行数据爬取。1、如何快速爬取网页的数据，在任何情况下都可以使用我们模拟的谷歌无头浏览器只需要两步就可以进行网页数据爬取。2、下载谷歌无头浏览器通过docker快速部署。

2024-08-12 20:14:12 248

原创简单编码方式构建大模型知识库

知识库构建需要一个大模型这里选用ollama可以选用qwen2模型，其次我们需要知识的检索跟知识的排序，部署xinference平台。图中的流程几乎都在调用http，只是做简单的逻辑梳理就能通过编码的方式来构建了知识库，在此基础上我们可以更加深入的进行业务调整。本文只用到http相互调用来构建知识库。只需要简单的python基础。embedding就是向量，转成向量后的数据可以保存到数据库中，通过编码的方式如faiss来进行向量查询来比对最相似的，如下代码就是通过模拟一组数据然后通过向量进行查询。

2024-07-28 10:56:53 402

原创 LLM微调部署，如何创建属于自己的大模型

部署完成后，点击如图小按钮可以直接进行模型会话了，xinference也提供了具体的API可以去官网查看，就可以把微调大模型整合到你们自己的项目。接下来就是导出我们已经训练好的模型，选择export导出，导出完成后模型微调的工作已经完成，接下来需要对微调后的模型进行部署。默认docker容器内是没有数据集的，数据的需要自己创建，以下是容器内创建的两个文件，在/app/data目录下。训练数据chatglm3_zh.json，具体的数据集可以自己去定义只要保持这个格式就可以了。如何微调属于自己的大模型。

2024-07-18 09:54:34 770

原创 springboot 使用 ollama 搭建的大模型

，如果是 Windows 系统（如：D:\OllamaModels），避免 C 盘空间吃紧：Ollama 服务监听的网络地址，默认为，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），成，从而允许其他网络访问：Ollama 服务监听的默认端口，默认为等）：HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制：大模型加载到内存中后的存活时间，默认为。

2024-07-12 16:07:22 1152

原创 trino环境搭建项目使用

7.这里用Idea来连接trino成功的话能看到我们配置好的pgsql跟mysql的数据源，这里分别在pgsql跟mysql创建了两张表，用来做关联查询。如何在多个不同的数据库之间进行关联查询，获取查询结果目前采用trino做为技术方案，当前版本2024/6/23不保证后续版本是否会发生变化。需要注意mysql第一个是trino创建的名称加库名加表名，其他参考官方。4. 进入/etc/trino/catalog文件夹进行mysql数据源的配置，其他数据源配置方式也在这个位置具体参考官网。

2024-06-23 18:53:21 386

u013220851的博客