大模型
文章平均质量分 92
liugddx
https://github.com/liugddx
展开
-
使用 BentoML快速实现Llama-3推理服务
本教程手把手的演示了一遍怎么快速的使用一个开源大模型进行推理,通过使用BentoML这一强大的工具。BentoML不仅简化了模型部署过程,还提供了便捷的API接口,使得开发者能够轻松地将大模型集成到各种应用场景中。这种快速部署和使用的方法,为大模型的广泛应用铺平了道路,让更多人能够享受到人工智能带来的便利。然而,尽管BentoML大大简化了大模型的部署和使用流程,我们仍需要注意一些关键点。首先,选择合适的硬件资源至关重要,这直接影响到模型的运行效率和响应速度。原创 2024-09-08 20:37:05 · 1229 阅读 · 1 评论 -
利用大模型实时提取和检索多模态数据探索-利用 Indexify 进行文档分析
Indexify 是一个开源的导入和提取引擎,旨在为实时 LLM 应用提供支持。它能够以极低的延迟从非结构化来源进行实时数据提取。它还支持可应用于各种用例的多模态提取工作流程,包括从文档中提取实体和嵌入、音频转录、摘要以及从图像甚至视频中检测对象。它还支持高效地索引、存储和检索数据,使其成为可扩展实时 RAG 系统的工具。原创 2024-09-05 21:22:32 · 886 阅读 · 0 评论 -
如何使用查询路由构建更先进的 RAG
目前大部分RAG的实践方案都是通过检索模型从外部数据库中获取与输入相关的文档或信息;然后,将这些信息与输入结合,输入到生成模型中进行文本生成。这种方案往往会有一个问题就是所有的数据都存储在一起,但这往往是没法在生产实践的,一般情况下单个prompt无法处理所有情况,单个数据源也可能无法适合所有数据。比如这个问题:假设现在需要构建一个聊天机器人来回答员工有关管理的问题,例如工资或绩效相关的问题。如果查询涉及员工福利、绩效评估、休假政策或任何与人力资源直接相关的主题,我们需要将查询路由到 HR 向量数据库。原创 2024-08-24 23:24:18 · 750 阅读 · 1 评论 -
为 LLM 提供服务需要多少 GPU 内存?
模型服务是将经过训练的机器学习模型部署到生产中的过程,以便它可以用于对新数据进行预测。在大型语言模型 (LLM) 的背景下,模型服务是指使 LLM 可根据用户输入回答问题、生成文本或执行其他任务。服务 = 提示输入,应答输出。原创 2024-08-16 16:26:37 · 962 阅读 · 0 评论 -
使用Spring AI 、 Qdrant 和 Ollama 实现完全本私有化的RAG应用
图片中所描绘的架构代表了一种处理和分析复杂文档(如调研报告、财务报告等)的复杂方法。用户首先通过一个称为 /load 的 API 上传文档,然后使用另一个称为 /ask 的 API 向系统提问。这表明这是一个交互式系统,初始动作是文档上传,随后是查询过程,使用户能够从上传的文档中提取有意义的信息。此架构的核心是 “Spring AI”,当用户上传文档时,Spring AI 接收解析并分析文本。它将复杂文档的内容转化为一种结构化形式,使其适合于高级数据处理技术。原创 2024-08-06 23:55:54 · 1190 阅读 · 0 评论 -
使用大型语言模型进行文档解析
此处定义了上述每个属性,其中包含要包含的信息及其格式策略的具体详细信息。例如,多年来,正则表达式一直是我解析文档的首选工具,我相信对于许多技术人员和行业也是如此。尽管正则表达式在某些情况下非常强大,但它们常常在面对真实世界文档的复杂性和多样性时缺少灵活性。另一方面,大型语言模型提供了一种更强大、更灵活的方法来处理多种类型的文档结构和内容类型。原创 2024-07-30 23:17:36 · 1039 阅读 · 0 评论 -
LangFlow VS Flowise 选择合适的低代码AI框架
LangFlow注重提供直观的可视化工作流设计、强大的自动化功能和灵活的插件扩展。其详细的文档和活跃的社区支持使用户可以快速上手并深入使用。Flowise强调简洁的用户界面、预构建的集成模块和详细的日志监控功能。其模块化架构和丰富的自定义脚本支持提供了极大的灵活性和扩展性。Flowise 与 LangFlow 的技术差异Agents功能比较CSV Agent: 从CSV文件中检索和操作数据。JSON Agent: 支持JSON数据的提取、转换和操作。原创 2024-06-18 13:44:33 · 1645 阅读 · 0 评论 -
介绍几个热门的文生图开源模型
Openjourney是一个免费的开源文本到图像模型,它生成的AI艺术风格类似于Midjourney,因为它是在超过12.4万张Midjourney v4图像的数据集上进行训练的。该模型是在广泛的laion-aesthetics v2 5+数据集上进行训练的,并且在512×512像素的分辨率下进行了595,000次的微调,因此具有根据任何给定文本输入生成高度逼真图像的卓越能力。通过在大型图像数据集上的训练,该模型对图像特征有了更深入的理解,从而生成出更加栩栩如生的图像。原创 2024-06-07 12:03:47 · 1316 阅读 · 0 评论 -
用 Unsloth 微调 LLaMA 3 8B
今年4月份,Meta 公司发布了功能强大的大型语言模型(LLM)Llama-3,为从事各种 NLP 任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。然而,传统的 LLM 微调过程既耗时又耗费资源。但是,Unsloth 的出现改变了这一局面,大大加快了 Llama-3 的微调速度。本文将探讨 Unsloth 如何帮助您以极高的速度和效率,根据具体需求对 Llama-3 进行微调。我们将深入探讨 Unsloth 的优势,并提供 Llama-3 微调流程的流程指南。原创 2024-06-07 11:40:16 · 2470 阅读 · 0 评论