端侧 AI 模型商店来袭，谁能成为 On-device 版本的 Hugging Face？

于 2024-09-30 10:11:15 发布
阅读量225 收藏 3
点赞数 8
分类专栏： 端侧 AI 文章标签： 人工智能 LLM 端侧 AI 生成式 AI 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asce1885/article/details/142650637
版权

本文首发于微信公众号：On-Device AI，欢迎关注，在这里，我们聚焦于设备上生成式人工智能的最新进展、技术深度解析、应用案例分享及未来趋势展望。

在科技浪潮的推动下，我们正经历一场前所未有的技术变迁——从云端计算向端侧智能的深刻转型。端侧 AI 模型商店的蓬勃兴起，不仅是技术边界的拓展，更是对开发者与用户自由度的全面释放。想象一下，未来的智能手机、智能手表乃至家中的每一个角落，都能独立运行复杂的 AI 任务，无需云端干预，这将开启一个怎样的智能新时代？

端侧AI：隐私、效率与自主性的完美融合

端侧 AI，顾名思义，是指在设备本地直接运行 AI 模型的技术。这一变革性进步，从根本上解决了数据隐私泄露的风险，消除了网络延迟与带宽限制的束缚，让智能应用更加高效、自主。随着 AI 芯片与算法的不断优化，如今的终端设备已经逐渐开始能轻松驾驭复杂的计算任务，实现真正的“智能在手”。

Nexa On-Device AI Hub：探索端侧智能的新边疆

这场端侧 AI 革命的先锋之一，便是 Nexa On-Device AI Hub。作为一个汇聚了超700个量化端侧 AI 模型的宝库，它覆盖了从多模态处理到自然语言理解，从计算机视觉到音频识别的广泛领域。通过精细化的筛选功能，无论是模型类型、文件大小还是性能参数，都能轻松找到最适合您设备需求的那一款。这不仅为开发者提供了丰富的资源选择，也为用户带来了前所未有的个性化智能体验。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Qualcomm AI Hub：硬件与软件的强强联合

而提到端侧 AI 的推动者，不得不提 Qualcomm AI Hub，作为行业巨头，高通不仅在 AI 模型与工具方面持续贡献，更通过其强大的 Snapdragon 处理器系列，为端侧 AI 提供了坚实的硬件支撑。这种软硬件的深度融合，让 AI应用在移动设备上的运行更加流畅、高效，进一步加速了端侧智能的普及与发展。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

量化技术：为 AI 模型穿上“瘦身衣”

在这场端侧 AI 的盛宴中，量化技术无疑扮演了关键角色。它通过精细地调整模型参数，实现了模型体积的大幅压缩，同时尽可能保持原有的性能与精度。这对于资源受限的终端设备来说，无疑是天大的福音。无论是 Nexa On-Device AI Hub 还是 Qualcomm AI Hub，都提供了多种量化级别的模型供用户选择，让每一位开发者都能根据自己的需求，在模型大小、质量与性能之间找到最佳的平衡点。

结语：端侧 AI 的无限可能

随着端侧 AI 技术的不断成熟与普及，一个全新的 On-device AI 生态系统正在逐步形成。在这个生态系统中，Nexa On-Device AI Hub、Qualcomm AI Hub 等平台将发挥至关重要的作用，它们不仅为开发者提供了丰富的资源与工具支持，更为用户带来了前所未有的智能体验。而谁将在这场端侧 AI 的竞赛中脱颖而出，成为该领域的“Hugging Face”，让我们共同期待这一历史时刻的到来。未来已来，让我们携手并进，共同探索端侧 AI 的无限可能！

ACE1985
关注
专栏目录
【Transformer-Hugging Face手册 07/10】 微调预训练模型
gongdiwudu的专栏
02-07 2380
使用预训练模型有显着的好处。它可以降低计算成本和碳足迹，并允许您使用最先进的模型，而无需从头开始训练。 🤗 Transformers 提供了针对各种任务的数千个预训练模型的访问权限。当您使用预训练模型时，您可以在特定于您的任务的数据集上对其进行训练。这被称为微调，是一种非常强大的训练技术。
第三章：AI大模型的主要技术框架3.3 Hugging Face Transformers3.3.1 Transformers简介与安装
AI天才研究院
01-28 939
Transformers是一种基于自注意力机制（Self-Attention Mechanism）的深度学习模型，它在自然语言处理（NLP）领域取得了显著的成功。自2018年以来，Transformers已经成为了NLP领域的主流模型，取代了之前的循环神经网络（RNN）和长短时记忆网络（LSTM）。模型规模：随着计算能力的提高，未来的Transformer模型可能会变得更大、更复杂。训练数据：大量无标签数据的利用是Transformer模型成功的关键。未来可能会有更多的方法来利用无标签数据进行训练。
如何使用hugging face的模型库?
2301_81940605的博客
04-16 1259
在这里，我将向您介绍如何在 1 天内快速熟悉 Hugging Face 的基本功能，并展示一些简单实用的例子。
如何使用Hugging Face微调大语言模型（LLMs）
python1234_的博客
08-29 1214
而且无需进行额外的训练。但是，如果你想为你的应用定制模型，可能需要在你的数据集上对模型进行微调，以获得比直接使用或训练更小型模型更高质量的结果。本文将介绍如何使用Hugging Face的。
从零开始大模型开发与微调：使用Hugging Face获取BERT预训练模型
AI天才研究院
06-16 616
从零开始大模型开发与微调：使用Hugging Face获取BERT预训练模型 1.背景介绍 在自然语言处理（NLP）领域，BERT（Bidirectional Encoder Representations from Transformers）模型
部署自己的 AI 聊天伙伴 — 使用 Hugging Face 指南部署 Qwen 聊天模型
php源码
07-30 302
您是否正在寻找一种能够聊天、创建内容、总结、编码等的人工智能，同时又能尊重您的隐私权？不用再找了，Qwen 聊天模型可以将您的数据中心转变为安全的人工智能交互堡垒。Qwen 不是普通的聊天机器人。它建立在庞大的语言模型上，并接受了多达 3 万亿个多语言数据的训练。这个人工智能奇迹可以理解复杂的英语和中文，并且经过微调以实现类似人类的互动。恭喜！您像一位经验丰富的船长一样驾驭了 AI 部署的危险水域。Qwen 现已稳稳地安装在您的服务器上，您的数据也安全无虞。
[LLM]Hugging Face 的 Autotrain-Advanced 探索
摩登都市天空---专栏
07-03 870
AutoTrain Advanced，这是一款无代码工具，专门设计用于让用户无需编写一行代码即可创建、微调和部署自己的 AI 模型。只需上传数据即可训练自定义机器学习模型。AutoTrain 将自动为你的数据找到最佳模型。它不仅可以帮助机器学习工程师，甚至可以帮助非开发人员轻松训练最先进的 ML 模型。只需要简单几步即可快速完成模型的微调、训练、推理和部署。AutoTrain 是一种自动训练和部署最先进的机器学习模型的方法，与 Hugging Face 生态系统无缝集成。
抱抱脸（hugging face）教程-中文翻译-文本分类
wwlsm_zql的博客
07-09 713
文本分类是一个常见的自然语言处理任务，它为文本分配一个标签或类。有许多实际应用的文本分类广泛应用于生产的一些今天的最大的公司。最流行的文本分类形式之一是情感分析，它为一系列文本分配一个标签，如正面、负面或中性。本指南将向您展示如何对 IMDb 数据集上的 DistilBERT 进行微调，以确定电影评论是正面的还是负面的。从 Datasets 库加载 IMDb 数据集:然后看一个例子:这个数据集中有两个字段:加载 DistilBERT 标记器以处理文本字段:创建一个预处理函数来标记文本并截断不超过 Disti
第3章 开源大模型框架概览3.2 PyTorch与Hugging Face3.2.3 PyTorch在大模型中的应用
AI架构设计之禅
02-22 1160
PyTorch和Hugging Face的Transformer模型在深度学习领域中处于领先地位。它们的易用性和高效性使得它们成为开发人员和研究人员的首选工具。更大模型：随着计算资源的不断增加，预计会有越来越多的大规模模型被发布。这些模型可以提供更好的性能和更准确的结果。更快的训练：随着硬件技术的不断发展，预计会有越来越多的高性能计算设备被用于训练大规模模型。这些设备可以缩短训练时间，提高研发效率。更多的应用场景：Transformer模型可用于越来越多的应用场景，例如自动驾驶、医学图像处理等。
【Transformer(04/10) 】 Hugging Face手册-推理管道
gongdiwudu的专栏
02-03 2098
这里是Hugging Face手册第四部分，如何使用推理管道；即使您没有特定模式的经验或不熟悉模型背后的底层代码，您仍然可以使用它们通过 pipeline ()进行推理！
扩散模型（2）--1
最新发布
m0_63860007的博客
09-29 479
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1036
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 864
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
Python精选200Tips：171-175
AnFany
09-26 1127
Python深度学习的项目
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 370
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
OpenCV视频I/O(13）视频采集类VideoCapture之等待多个视频流中的任意一个变为可用状态函数waitAny()的使用
jndingxin的专栏
09-29 315
cv::VideoCapture::waitAny 是一个静态成员函数，用于等待多个视频流中的任意一个变为可用状态。这个函数可以用于同步多个视频流，直到其中一个流准备好为止。
持续学习与创新能力的双重提升
thinkers
09-25 422
  ---
高维空间的维数灾难问题
Python领域优质萌新创作者
09-23 304
高维空间的维数灾难问题是指在处理高维数据时，随着维度的增加，数据的性质发生了显著变化，从而导致许多传统的机器学习和统计方法失效的现象。
huggingface模型cpu
08-29
Hugging Face是一个知名的人工智能库，其中包含了预训练的语言模型，如BERT、GPT等。提到CPU支持Hugging Face模型，通常是指你可以使用CPU来运行Hugging Face的Transformers库中的模型，特别是在GPU资源有限的情况下。 在CPU上运行这些大型模型可能会比较慢，因为它们计算密集度高，不适合并行处理。然而，通过TensorFlow或PyTorch这样的库提供的CPU版本或者优化过的推理路径（例如`tf.config.run_functions_eagerly(True)`），可以降低内存消耗，并在没有GPU的情况下进行基本的文本生成、情感分析等任务。 要利用Hugging Face模型在CPU上运行，你需要先下载适合CPU的模型权重（`.pt`或`.bin`文件），然后在代码中设置适当的硬件设备，比如： ```python import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification # 加载模型和分词器 model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', device='cpu') tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') # 使用CPU进行预测 inputs = tokenizer("This is a test.", return_tensors="pt", device="cpu") outputs = model(**inputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值