ILLA Cloud: 调用 Hugging Face Inference Endpoints，开启大模型世界之门

于 2023-04-13 22:00:40 发布
阅读量338 收藏 1
点赞数 1
分类专栏： Hugging Face 博客 文章标签： 人工智能 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuggingFace/article/details/130141352
版权

一个月前，我们 宣布了与 ILLA Cloud 与达成的合作，ILLA Cloud 正式支持集成 Hugging Face Hub 上的 AI 模型库和其他相关功能。

今天，我们为大家带来 ILLA Cloud 集成 Hugging Face 功能的更新，经过双方团队的沟通和推进，ILLA Cloud 现以发布 2.0 正式版 ——用户可以将 ILLA Cloud 的应用构建能力与 Hugging Face 上先进的 AI 模型相结合，借助两个平台的优势为团队带来更进一步的效率提升。

ILLA Cloud 是一个开源低代码开发平台，用户可以通过连接各种组件和操作来构建企业内部应用程序，Hugging Face 在其中扮演了提供了 AI 模型、工具和资源的供应商。

在接下来的内容中，我们将指导你在 ILLA Cloud 中使用 Hugging Face 的 Inference Endpoints 和 Hugging Face Hub 上的 openai/whisper-base 模型创建一个音频转文字应用程序，以展示这本次合作的内容和优势以及这项技术的一些可能用例。

第一步：用组件搭建前端界面

首先，使用 ILLA Cloud 的组件（如文件上传和按钮）设计一个直观的界面。这个界面将使用户能够轻松地上传音频文件并启动转录过程。

最低0.47元/天 解锁文章
博客
大模型评估排障指南 | 关于推理
04-24 739
即在 layer 级拆分模型，不同的 layer 被分配到不同的 GPU 上。由于推理时前向过程是线性的，例如 layer 1 的输出是 layer 2 的输入，因此 layer 2 分配的 GPU 需要等待 layer 1 的计算结束才能开始 (也叫 “冒泡 (bubble)”)，同时数据和中间结果也需要 GPU 间传输，这也就导致执行速度较慢。更一般地，确保输入模型的样本的上下文大小是按从大到小的顺序，这样如果上下文大小过大，模型就会直接报错，避免了模型一开始正常运行，直到某个时间才出问题。
博客
让 LLM 来评判 | 技巧与提示
04-09 603
例如，成对比较模型的训练集数据格式中提供了参考答案，如果在评估时没有给定参考答案或者给定的参考答案格式有误，那么评估结果就不可信。例如在某些特定领域 (如医学、法律、数学等)，如果标注员专业性不够，那么得到的结果可能跟直接采用 LLM 一样差。：同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。例如对于施加了相同程度噪声的文本，使用评估模型评估文本质量的评分无法反映噪声的程度。缓解措施：仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。
博客
Open R1 项目进展第三期
04-03 564
虽然最终子任务通常是完整问题，但其他大多数子任务往往是难度较低的问题，参赛者可以选择解决部分子任务以获得部分分数，而不是尝试完美解决完整问题 (完美得分非常罕见)。虽然我们计划未来通过模型生成并验证更多具有挑战性的测试用例，添加到我们的 CodeForces 数据集中，但目前我们转向了其他地方寻找完整可用的题目数据。具体来说，我们先提交针对问题最后一个子任务的解决方案，然后依次提交针对倒数第二个、第三个子任务的代码，同时跳过已解决的子任务。不过不管怎样，我们试过的所有数据集里，打包的表现都不如不打包。
博客
Open R1 项目进展第二期
03-31 1056
虽然我们升级了 Math-Verify，让它能更好地处理这些怪格式 (后面会讲改进)，但还是找了个备用方案: 用 Llama-3.3-70B-Instruct 当“裁判”，从被拒的答案里救回一些靠谱的。DeepSeek 团队生成了 60 万条推理记录，用来微调 Qwen 和 Llama 系列模型，结果证明，不用强化学习，直接从 R1 “蒸馏”出来的效果也很棒。除此之外，我们还聊聊社区里一些让人兴奋的进展，比如怎么整理出小而精的高质量数据集来微调模型，以及如何在训练和推理时控制推理模型的“思考步数”。
博客
Open R1 项目进展第一期
03-28 948
但效果不好，吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快就满了。DeepSeek R1 发布已经两周了，而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。我们这才刚起步呢，打算把训练流程弄完，在小模型上试试，再用放大版的推理流程搞出高质量的数据集。虽然大家还在研究 DeepSeek-R1 的成果和报告，但这款模型在发布短短两周后，就已经火遍了大街小巷，吸引了无数目光。: 一个超棒的合成推理数据集，有 114k 个例子，数学、科学、代码、谜题啥都有。
博客
为什么 AI 模型离科学革命还差得很远？
03-26 929
文章的核心观点是，在未来一两年内，我们将拥有一个“装在数据中心里的爱因斯坦之国”，所有 21 世纪的科学发现将在短短 5 到 10 年内被一股脑地完成，从而压缩了整个世纪的科技进程。现在，我们评估 AI 模型智能提升的方式，大多是通过一些“高难度考试题”，比如所谓的“人类的最后一场考试”或 “Frontier Math”，这些测试由博士生设计，问题复杂但都是封闭式、明确有标准答案的题目。在我看来，按照当前的发展路径，我们真正可能得到的，是“一国的服务器上全是唯唯诺诺的好学生”，而不是爱因斯坦。
博客
常见的 AI 模型格式
03-25 789
GGUF 格式的 Llama-3.1 8B 模型示例，链接https://hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main。虽然也可以将其用于其他类型的模型，例如通过stable-diffusion.cpp实现的扩散模型，但这并不像在语言模型中的应用那样普遍。
博客
SmolVLM2: 让视频理解能力触手可及
03-21 910
模型与演示全集https://hf.co/collections/HuggingFaceTB/smolvlm2-smallest-video-lm-ever-67ab6b5e84bf8aaa60cb17c7。虽然属于实验性发布，但期待它能激发更多创新应用。微调笔记https://github.com/huggingface/smollm/blob/main/vision/finetuning/SmolVLM2_Video_FT.ipynb。我们推出三款新模型 (2.56 亿/5 亿/22 亿参数)。
博客
在 Hugging Face Spaces 上使用 Gradio 免费运行 ComfyUI 工作流
03-18 710
在本教程中，我将逐步指导如何将一个复杂的 ComfyUI 工作流转换为一个简单的 Gradio 应用程序，并讲解如何将其部署在 Hugging Face Spaces 的 ZeroGPU 无服务器架构上，这样可以让它以无服务器的方式免费部署和运行。不过，你可能需要根据本教程中学到的知识进行一些修正。虽然需要一些基础的编程知识，但我鼓励初学者尝试跟随本教程，因为它可以作为一个很好的 Python、Gradio 和 Hugging Face Spaces 的入门指南，不需要太多的编程经验。
博客
在 Hugging Face 上部署语音转语音模型
03-11 883
介绍S2S (语音到语音)是 Hugging Face 社区内存在的一个令人兴奋的新项目，它结合了多种先进的模型，创造出几乎天衣无缝的体验: 你输入语音，系统会用合成的声音进行回复。https://github.com/huggingface/speech-to-speech该项目利用 Hugging Face 社区中的 Transformers 库提供的模型实现了流水化处理。该流程处理由以下组件...
博客
LayerSkip: 使用自推测解码加速大模型推理
03-10 915
自推测解码是一种新颖的文本生成方法，它结合了推测解码 (Speculative Decoding) 的优势和大语言模型 (LLM) 的提前退出 (Early Exit) 机制。该方法出自论文LayerSkip: Enabling Early-Exit Inference and Self-Speculative Decoding。它通过使用 同一个模型 的早期层来生成候选词元 (token)，并使...
博客
从文件到块: 提高 Hugging Face 存储效率
03-03 700
Hugging Face 在Git LFS 仓库中存储了超过30 PB 的模型、数据集和 Spaces。由于 Git 在文件级别进行存储和版本控制，任何文件的修改都需要重新上传整个文件。这在 Hub 上会产生高昂的成本，因为平均每个 Parquet 和 CSV 文件大小在 200-300 MB 之间，Safetensor 文件约 1 GB，而 GGUF 文件甚至可能超过 8 GB。设想一下，仅仅修...
博客
让 LLM 来评判 | 设计你自己的评估 prompt
02-26 629
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示通用 prompt 设计建议我总结的互联网上通用 prompt 的通用设计原则如下:任务描述清晰:Your task is to do X (你的任务是 X).You will be provided with Y (你拿到的信息是 Y...
博客
AI 艺术工具通讯
02-20 968
创刊号 ????AI 领域的发展速度令人惊叹，回想一年前我们还在为生成正确手指数量的人像而苦苦挣扎的场景，恍如隔世 ????。过去两年对开源模型和艺术创作工具而言具有里程碑意义。创意表达的 AI 工具从未像现在这般触手可及，然而这仅仅是冰山一角。让我们共同回顾 2024 年 AI 艺术领域的关键突破与创新工具，并展望 2025 年的发展趋势 (剧透预警 ????: 我们将启动月度资讯精选的订阅????)。2024 重大发...
博客
让 LLM 来评判 | 奖励模型相关内容
02-14 555
这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是奖励模型？奖励模型通过学习人工标注的成对 prompt 数据来预测分数，优化目标是对齐人类偏好。训练完成后，奖励模型可以作为人工评估代理的奖励函数，用来改进其他模型。成对比较评分最常见的奖励模型类型是 Bradley-Terry ...
博客
让 LLM 来评判 | 评估你的评估结果
02-10 301
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示在生产中或大规模使用 LLM 评估模型之前，你需要先评估它在目标任务的表现效果如何，确保它的评分跟期望的任务表现一致。注：如果评估模型的输出结果是二元分类，那么评估会相对简单，因为可使用的解释性分类指标有很多 (如准确率、召回率和精确率...
博客
让 LLM 来评判 | 选择 LLM 评估模型
01-14 640
这是 让 LLM 来评判 系列文章的第二篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示使用现有的 LLM 评估模型时，你可以选择：通用性强、能力高的大模型、专业性强、特定数据偏好的小模型、或自行训练模型。通用性强、能力高的大模型https://arxiv.org/abs/2306.05685v4专业性强、特定数据偏好的小...
博客
让 LLM 来评判 | 基础概念
01-10 644
这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是评估模型？评估模型 (Judge models) 是一种 用于评估其他神经网络的神经网络。大多数情况下它们用来评估生成文本的质量。评估模型涵盖的范围很广，从小型的特定分类器 (例如 “垃圾邮件分类器”) 到大型的 LLM，或大而广...
博客
自动评估基准 | 一些评估测试集
01-08 270
这是 自动评估基准 系列文章的第三篇，敬请关注系列文章:基础概念设计你的自动评估任务一些评估测试集技巧与提示如果你感兴趣的任务已经得到充分研究，很可能评估数据集已经存在了。下面列出了一些近年来开发构建的评估数据集。需要注意的是：大部分数据集有些 “过时”，因为它们是在 LLM 出现之前构建的，当时是为了评估语言文本的某个特定属性 (如翻译、摘要)，但是可能已经不适合现在的 LLM 评估方法了 (现...
博客
基于开放模型的推理时计算缩放
12-31 992
过去几年，大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效，但预训练更大模型所需的资源变得异常昂贵，数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣， 即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算，而是采用动态推理策略，让模型能够对难题进行“更长时间的思考”。最著名的案例是 OpenAI 的 o1 模型，随着推理时计算量的增加，该模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值