人工智能 | Hugging Face 的应用

大纲

Hugging-Face 介绍

  • Hugging-Face 大语言模型 LLM 管理

  • Transformers 机器学习框架

  • 文本生成推理 (TGI)

Hugging Face

Hugging-Face -- 大语言模型界的 Github

Hugging Face 专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的 transformers 库,以及允许用户共享机器学习模型和数据集的平台

图片

大模型平台 hugging face

图片

图片

图片

国内对标 -- 百度千帆

百度智能云千帆大模型平台(以下简称千帆或千帆大模型平台)是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种 AI 开发工具和整套开发环境,方便客户轻松使用和开发大模型应用。支持数据管理、自动化模型 SFT 以及推理服务云端部署的一站式大模型定制服务,助力各行业的生成式 AI 应用需求落地。

图片

 百度千帆

国内对标 -- 魔搭社区

图片

ModelScope 社区成立于 2022 年 6 月,是一个模型开源社区及创新平台,由阿里巴巴通义实验室(Institute for Intelligent Computing),联合 CCF 开源发展委员会,共同作为项目发起方。社区联合国内 AI 领域合作伙伴与高校机构, 致力于通过开放的社区合作,构建深度学习相关的模型开源社区,并开放相关模型创新技术,推动基于“模型即服务”(Model-as-a-Service)理念的模型应用生态的繁荣发展。

Hugging Face 是行业风向标
  • 开发者仓库 Hub

  • 机器学习模型 Hub

  • 数据集 Hub

  • 机器学习算法库与封装工具

  • 解决方案

  • 文档

大语言模型管理

通过 Git 下载大模型
git lfs install#模型会下载到本地目录,并不在hugging face的标准管理目录里,可能会导致后续Transformers库重新下载git clone https://huggingface.co/google/owlv2-base-patch16-ensemble

图片

客户端工具 huggingface_hub​​​​​​​
python -m pip install huggingface_hub# 需要开启代理huggingface-cli login
高速下载​​​​​​​
python -m pip install huggingface_hub[hf_transfer]
#缺点:目前还不支持代理,导致下载大文件可能有时候更慢。export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download gpt2 config.json
huggingface-cli 用法​​​​​​​
(base) hogwarts: llama
### Hugging Face 平台概述 Hugging Face 是一家专注于人工智能与自然语言处理(NLP)的科技公司,致力于使先进的机器学习技术更加开放、易用并促进协作。该平台不仅为开发者、研究人员以及AI爱好者提供了访问最先进NLP模型和技术的机会,还通过其网站支持社区交流和发展[^4]。 #### Spaces 托管服务 Spaces 提供了一个托管应用的平台,在这里开发者能够部署和展示基于 Hugging Face 模型的各种应用程序,例如聊天机器人、翻译工具等。这使得创建者可以快速分享自己的项目并与他人互动测试新想法[^1]。 #### 使用预训练模型进行开发 当现有的Hugging Face提供的模型无法完全满足特定需求时,用户可以选择利用平台上已有的高质量预训练模型作为起点来实施迁移学习。这种方法允许使用者在已有成果的基础上进一步优化定制化解决方案,从而节省时间和资源成本[^2]。 ```python from transformers import pipeline nlp = pipeline("sentiment-analysis") result = nlp("I love using the Hugging Face platform!") print(result) ``` 这段代码展示了如何加载一个情感分析管道,并对其进行简单的调用来获取文本的情感倾向预测结果。 #### 性能评估工具 为了帮助用户更好地理解和改进所使用的模型表现,Hugging Face 还提供了一系列专门设计用于量化模型性能的评估工具。这些工具有助于完成诸如模型选择、超参数调整等工作流程中的重要环节,确保最终产品达到预期效果[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值