大模型专刊
文章平均质量分 93
自己在使用学习大模型的记录笔记
你要找的程序猿
数据猿,在搞AI。
展开
-
Qwen-72b单卡运行
一旦 Xinference 服务运行起来,可以有多种方式来使用,包括使用网页、cURL 命令、命令行或者是 Xinference 的 Python SDK。如果需要使用 Xinference 进行模型推理,可以根据不同的模型指定不同的引擎。在下载模型的同时,当模型结束下载,自动拉起model.你可以通过openai的调用方法进行访问qwen-72b。如果你想使用 GGML 格式的模型,建议根据当前使用的硬件手动安装所需要的依赖,以充分利用硬件的加速能力。在图形化界面的基础上,原因在上面。原创 2024-03-27 10:40:19 · 4635 阅读 · 3 评论 -
TEXT2SQL-顶峰:Vanna部署及介绍
Vanna 是一款采用 MIT 许可的开源 Python RAG (检索增强生成)框架,用于生成 SQL 语句和相关功能。如何使用 VannaVanna 的使用分为两个简单步骤 - 在你的数据上训练一个 RAG "模型",然后提出问题,该问题将返回可设置为自动在你的数据库上运行的 SQL 查询。1.。2.。如果你不知道什么是 RAG,不用担心 -- 你不需要知道这是如何在底层工作的。你只需要知道你需要“训练”一个模型,它会存储一些元数据,然后你可以用它来“提问”。原创 2024-01-23 17:03:36 · 3701 阅读 · 0 评论 -
Ubuntu llama 2搭建及部署,同时附问题与解决方案
AMD Ryzen7480 OH with Radeon Graphics(16 CPUs),~2.9GHzCard name: NVIDIA GeForce RTX 2060内存:4G存储:100G镜像地址:git clone https://hub.fastgit.xyz/facebookresearch/llama.git![[Pasted image 20230803191542.png]]![[Pasted image 20230803191612.png]]![[Pasted imag原创 2023-08-10 10:31:33 · 4494 阅读 · 8 评论 -
text2sql:SQLCoder的简介、安装、使用方法之详细攻略
SQLCoder 是一个 15B 参数模型,在sql-eval框架上,它的性能优于自然语言到 SQL 生成任务,并且明显优于所有流行的开源模型。在给定架构上进行微调时,它的性能也优于SQLCoder 在基本的 StarCoder 模型上进行了微调。性能对比:在 SQL 生成任务的评估框架上,SQLCoder(64.6%)的性能略微超过了 gpt-3.5-turbo(60.6%)。训练数据:Defog 在两个周期内对10,537个人工策划的问题进行了训练,这些问题基于10种不同的模式。使用方法。原创 2023-10-08 14:34:17 · 5267 阅读 · 5 评论