guidance快速配置流程-for LLM inference

已于 2024-03-19 21:15:45 修改
阅读量600 收藏 8
点赞数 10
分类专栏： LLM 文章标签： LLM
于 2024-03-05 16:52:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adreammaker/article/details/136478109
版权

Guidance中文指导教程

一、conda create

conda create -n guidance python=3.10

二、pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install guidance

三、pip transformers版本坑

pip install transformer==4.37.0
4.38会报错

四、其他需要安装的包

pip install accelerate
安装即可

cora需要安装下列包

sentencepiece
protobuf
bitsandbytes
scipy

下载模版guidance pemplate

download template from github：
https://github.com/guidance-ai/guidance
example:
https://github.com/ghazaleh-mahmoodi/Prompting_LLMs_AS_Explainable_Metrics

常见问题

1模型路径需要用/根路径

2guidance使用gemma报错如下

openssl源码编译输出库-guidance-傻瓜式教程
baron-周贺贺-代码改变世界ctw
07-13 269
编译输出目标版本，例如使用Android NDK编译输出Android使用的32位的库。按照文档，配置好您上述解压出的NDK中的工具链路径，并加入PATH变量。3、请找到Notes for Android platforms文档。注意./Configure 后的参数，然后再敲击make即可。请下载Linux版本的Android NDK, 并完成解压。去查看，主要看这里的LIBS和SHLIBS中定义的目标。2、 请下载Linux版本的Android NDK。下载openssl源码。
Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models
liguandong
10-31 62
但跟P2P不同的是，Attend-and-Excite建立某个评价损失函数并反向传播梯度来刺激更新latent，而非直接通过加权来强制增大对应值。目前比较流行的以文生图模型，虽然能够生成很惊艳的图像，但是仍然可能无法完整表达文本提示中的语义信息。如图1下排所示，加上本文所提出的改进技术，就能生成具有完整语义信息的图像。的概念，试图在推理期间干预生成过程，以提高生成图像的可信度。如图1 上排右边所示，错误的将凳子的颜色生成了黄色。，从而指导模型生成文本提示中描述的所有。，或者将属性绑定到错误的。
从源代码安装Guidance
zhanyongjia_cnu的专栏
02-25 743
Guidance是以色列科学家开发的一款用于评估msa对齐稳定性及去除低支持度片段的软件。目前可以通过网页提交数据获取结果。同时作者提供了源代码包可以编译安装在本地的server上。URL：http://guidance.tau.ac.il/ver2/source.php 通过接近两天的努力，终于编译安装完成，记录如下： 1.安装环境： 需要的安装环境较为苛刻。由于是基于bioperl的，所
【LLM】Langchain使用[一]（模型、提示和解析器、存储）
发现问题，并解决问题，批判性思维
07-15 3439
为各种不同基础模型提供统一接口帮助管理提示的框架一套中心化接口，用于处理长期记忆（参见Memory）、外部数据（参见Indexes）、其他 LLM（参见Chains）以及 LLM 无法处理的任务的其他代理（例如，计算或搜索）。Models：从不同的 LLM 和嵌入模型中进行选择Prompts：管理 LLM 输入Chains：将 LLM 与其他组件相结合Indexes：访问外部数据Memory：记住以前的对话Agents：访问其他工具。
采用 guidance 提高大模型输出的可靠性和稳定性
weixin_43829633的博客
10-14 1524
在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"，以提高大语言模型输出的可靠性和稳定性，成为一个具有挑战性的问题。在开发应用的过程中，我发现了微软推出的开源项目 guidance，能够很好地解决这一繁琐问题，本篇文章对此进行详细说明。
【DJI】GUIDANCE使用说明
王强_CASIA的博客
06-04 9743
实习阶段测试了一下DJI的视觉传感导航系统，就是下面这个东西。 组装说明： http://wiki.dji.com/cn/index.php/Guidance 最好按照安装视频来安装，我自己安装的时候先安装了四周的四个，下面的就不太好安装了。Ps，不知道为什么主控竟然是需要通过3M胶粘贴的，这点不太清楚处于什么考虑。 安装结束了如下图。   摄像头的标定部分就不做额
“全网最全”LLM推理框架集结营 | 看似微不足道，却决定着AIGC项目的成本、效率与性能!
WZZ18191171661的博客
04-18 5173
TensorRTLLM包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。它还包括一个与NVIDIA Triton推理服务器集成的后端；为LLM服务的生产质量体系。使用TensorRT LLM构建的模型可以在各种配置上执行，从单个GPU到具有多个GPU的多个节点（使用Tensor并行性和/或管道并行性）。
LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-03 1496
​ LLMs之RAG：《Inference Scaling for Long-Context Retrieval Augmented Generation长上下文检索增强生成的推理扩展》翻译与解读 目录 《Inference Scaling for Long-Context Retrieval Augmented Generation》翻译与解读 Abstract 1 Introduction 6、Discussion Conclusion
从LLM到大模型推理的最新进展
Aweii__的博客
08-04 1005
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
语音版语言模型【Audio LLM】
u013250861的博客
05-21 287
In this repository, we survey three crucial areas: (1) representation learning, (2) neural codec, and (3) language models that contribute to speech/audio large language models. 1.⚡Speech Representation Models:These models focus on learning structural sp
AIGC的应用：图像生成
AI天才研究院
08-08 790
AIGC的应用：图像生成 1.背景介绍 在过去几年中,人工智能生成内容(AIGC)技术取得了长足进步,尤其是在图像生成领域。AIGC图像生成模型能够根据文本描述生成逼真的图像,这在很大程度上改变了人们创作和体验视觉内容的方式。 图像生成的应用场景广泛,包括设计、广告、娱乐等领域。通过输
AIGC从入门到实战：专注：Stable Diffusion，更专业的人物绘画 AI
AI天才研究院
06-10 563
AIGC从入门到实战：专注Stable Diffusion，更专业的人物绘画AI 1.背景介绍 1.1 人工智能生成内容(AIGC)的兴起 人工智能生成内容(AIGC)是一种利用
XGBoost在零售领域的应用案例
AI天才研究院
04-06 1114
零售行业一直是大数据和机器学习应用最为广泛的领域之一。随着消费者行为数据的不断积累,零售企业迫切需要利用先进的机器学习算法来挖掘数据价值,提高运营效率和决策质量。其中,XGBoost作为近年来广受关注的一种高性能梯度提升决策树算法,在各类机器学习竞赛和实际应用中屡创佳绩,备受零售行业的青睐。本文将从XGBoost的核心概念出发,详细介绍其在零售领域的典型应用案例,包括商品销量预测、客户流失预测、欺诈交易检测等,阐述相关的算法原理、数学模型、具体实现以及最佳实践,希望对从事零售大数据分析的从业者有所帮助。
付费进群阿泽魔改源码 跳转不卡顿
01-17
付费进群源码，不和外面的一样跳转卡顿，这个跳转不卡顿，支持三级分销
"Qt平台下的差分压缩升级工具：源码解析与实现，采用LZMA、bsdiff及SHA256算法，高效固件差分升级解决方案",差分压缩升级工具qt上位机源码和下位机源码! Qt 5.14.2 MinGW
最新发布
01-17
"Qt平台下的差分压缩升级工具：源码解析与实现，采用LZMA、bsdiff及SHA256算法，高效固件差分升级解决方案",差分压缩升级工具qt上位机源码和下位机源码! Qt 5.14.2 MinGW 32 64 bit 已经经过长期验证。 使用lzma,bsdiff,sha256算法。 该工具使用差分算法制作差分包并自带压缩功能，差分升级是将新老固件具有差异的部分剥离出来，例如固件从V1.1.0升级到V1.1.1，两个固件相比只修改了1K的内容，将该部分剥离出来生成差分包pach.bin(v1.1.0~v1.11)，通过串口将差分包升级到设备端，设备端接收完成之后，先解压差分包，再通过差分恢复算法，根据差分包中的数据标志，将新老固件进行融合，变成新的固件，从而完成升级。 直接升级使用也会压缩，减小固件大小。 减少传输数据量，节约升级时间。 ,核心关键词：差分压缩升级工具; Qt上位机源码; Qt下位机源码; 差分算法; 差分包; 固件升级; lzma算法; bsdiff算法; sha256算法; 串口传输; 融合固件。,“基于QT与LZMA+Bdiff算法的差分压缩升级工具：支持差分
2022年7月环境管理体系基础.pdf
01-17
2022年7月环境管理体系基础
2022年12月管理体系认证基础.pdf
01-17
2022年12月管理体系认证基础
使用FineBI进行数据分析（入门级）
01-17
本资源包包含了一系列关于B站（哔哩哔哩）UP主的粉丝数据Excel文件，主要方便大家学习如何利用FineBI平台对这些数据进行深入分析。通过本资源，用户可以学习到如何连接多源数据、加工和可视化数据，从而实现数据驱动业务决策。 数据概述： 数据覆盖了7000多个兴趣圈层的多元文化社区，聚焦于中国年轻一代高度聚集的文化社区和视频平台。 文件包括总粉丝排行、充电排行、创作人气排行、掉粉排行和涨粉排行等，帮助理解不同领域UP主的受欢迎程度及其粉丝分布情况。 分析目的： 利用FineBI的多源数据连接和自助数据加工能力，确保数据的真实、准确、完整。 通过FineBI的自助分析与简便易上手的可视化组件，制作对应仪表板，实现数据驱动业务。分析并展示B站粉丝数量最多的区域、播放量前10的UP主、男女UP主对比及UP主投稿与涨粉量之间的关系等，以了解运营策略。 适用人群： 适合希望提高自身数据分析技能的UP主、内容创作者，以及对社交媒体数据分析感兴趣的个人或团队。
《COMSOL在新能源仿真领域的应用研究：固体氧化物燃料电池与海水电渗析淡化模拟分析》 研究生探讨微纳尺度光伏与CFD仿真的三维瞬态模型构建-甲烷乙醇重整与PCB相变材料耦合水冷热管理研究,CO
01-17
《COMSOL在新能源仿真领域的应用研究：固体氧化物燃料电池与海水电渗析淡化模拟分析》 研究生探讨微纳尺度光伏与CFD仿真的三维瞬态模型构建——甲烷乙醇重整与PCB相变材料耦合水冷热管理研究》,COMSOL-SOFC（固体氧化物燃料电池）；甲烷 乙醇重整；光伏 PCB相变材料耦合水冷却热管理；微纳尺度海水电渗析淡化等模拟讨论，本人交大研究生CFD仿真方向 SOFC平板单电池：25流道，包含进气管路，密封装置，外部集流体（计算资源要求较大）第一个套 SOFC单通道模型：经过与实验对比验证，三维单通道 第二个套 电子元件相变材料耦合水冷热管理三维瞬态模型（含自然对流） 第三个套 默认是第一个非全部 ,COMSOL; SOFC（固体氧化物燃料电池）; 甲烷乙醇重整; 光伏; PCB相变材料; 水冷却热管理; 微纳尺度海水电渗析淡化; SOFC平板单电池; SOFC单通道模型; 电子元件相变材料耦合水冷热管理。,交大CFD仿真研究：SOFC及多元系统的热管理模拟与优化分析
cagnet: content-aware guidance for salient object detection
09-21
Cagnet（Content-Aware Guidance for Salient Object Detection）是一种针对显著对象检测的算法。该算法的目标是在图像中自动检测出最具显著性的对象区域。 Cagnet算法的核心思想是结合了内容感知的引导和视觉特征...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值