【扩散模型从原理到实战】Chapter2 Hugging Face简介

最新推荐文章于 2024-05-20 19:08:38 发布
最新推荐文章于 2024-05-20 19:08:38 发布
阅读量436 收藏
点赞数
分类专栏： # 扩散模型 文章标签： 人工智能 学习 笔记 Hugging Face Gradio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61819793/article/details/133895097
版权

文章目录


Hugging Face是机器学习从业者协作和交流的平台，成立于2016年，在纽约和巴黎设有办事处，团队成员来自世界各地，远程办公。
致力于让好的机器学习能力可以为所有人使用
Hugging Face的logo：
image.png

Hugging Face的核心功能介绍

Hugging Face的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，用户可以在这里托管自己的模型、数据集，并为自己的模型加入模型卡片以介绍模型的内容和用法

模型卡片
这里以bert-base-uncased为例
image.png
卡片包含了该模型的全部相关信息，名称、分类标签、开源协议以及预印本平台arXiv.org上的论文引用、模型的变体发展、应用和局限、使用方法等

提供Auto Train功能支持用户上传数据集微调模型
image.png

推理API功能
image.png

  1. 在模型页面上直接“运行”模型的输入并得到输出结果
    image.png

  2. 单击模型页面上的“Deploy”按钮，选择“Inference API”来调出示例代码

数据集
image.png
可以使用Hugging Face开源的Datasets中的方法进行加载

Spaces应用功能
助力开发者快速创建和部署一个机器学习应用
SDK支持使用Gradio、Streamlit、Docker和静态HTML
Space应用能获得Hugging Face提供的免费的两核CPU以及16GB内存的服务器
image.png
每个Space应用都有一个可以直接访问的网址，域名格式为用户名-Space应用名.hf.space
举个例子：
由微软认知服务团队创建的名为mm-react的Space应用的网址为
https://microsoft-cognitive-service-mm-react.hf.space
用户个人主页访问：https://hf.co/用户名
举个例子
https://hf.co/microsoft-cognitive-service

克隆某Space应用
通过Space应用的“Duplicate this Space”功能
image.png

克隆之后，可以在该Space应用原有配置的基础上加上自己的配置值，例如使用自己的计算服务器资源、自己的API密钥等
image.png

Hugging Face开源库

Hugging Face的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，用户可以在这里托管自己的模型、数据集，并为自己的模型加入模型卡片以介绍模型的内容和用法

模型卡片
这里以bert-base-uncased为例
image.png
卡片包含了该模型的全部相关信息，名称、分类标签、开源协议以及预印本平台arXiv.org上的论文引用、模型的变体发展、应用和局限、使用方法等

提供Auto Train功能支持用户上传数据集微调模型
image.png

推理API功能
image.png

  1. 在模型页面上直接“运行”模型的输入并得到输出结果
    image.png

  2. 单击模型页面上的“Deploy”按钮，选择“Inference API”来调出示例代码

模型训练时使用的数据集
image.png
可以使用Hugging Face开源的Datasets中的方法进行加载

Spaces功能：助力开发者快速创建和部署一个机器学习应用
SDK支持使用Gradio、Streamlit、Docker和静态HTML
Space应用能获得Hugging Face提供的免费的两核CPU以及16GB内存的服务器
image.png
每个Space应用都有一个可以直接访问的网址，域名格式为用户名-Space应用名.hf.space
举个例子：由微软认知服务团队创建的名为mm-react的Space应用的网址为
https://microsoft-cognitive-service-mm-react.hf.space
用户个人主页访问：https://hf.co/用户名，举个例子，https://hf.co/microsoft-cognitive-service

克隆某Space应用
通过Space应用的“Duplicate this Space”功能
image.png

克隆之后，可以在该Space应用原有配置的基础上加上自己的配置值，例如使用自己的计算服务器资源、自己的API密钥等
image.png

Hugging Face开源库

机器学习库和工具

Transformers
帮助使用者下载和训练SOTA的预训练模型
支持PyTorch、TensorFlow和JAX，并支持框架之间的互操作
模型导出格式支持ONNX和TorchScript等

Datasets
帮助使用者加载各种数据集

Diffusers
操作扩散模型的工具箱
提供功能包括直接使用各种扩散模型完成生成任务、使用各种噪声调度器调节模型

Accelerate
运行PyTorch训练脚本

Optimum
提供了一组性能优化工具

timm
深度学习库，包含图像模型、优化器、调度器以及训练/验证脚本等内容

Tokenizers
适用于研究和生产环境的高性能分词器

Evaluate
使用数十种流行的指标对数据集和模型进行评估

Hugging Face的GitHub组织页面以及“置顶”的开源代码仓库：
image.png

Gradio工具介绍

Gradio是什么
由Hugging Face推出的一个开源的Python库，用于构建机器学习和数据科学演示以及Web应用
帮助研究者快速创建一个交互式应用

安装和运行Gradio

  1. 安装
pip install gradio
  1. 需要构建交互式应用的代码
    app.py，代码内容如下
import gradio as gr

def greet(name):
	return "Hello " + name + "!"

demo = gr.Interface(fn=greet, inputs="text", outputs="texts")

demo.launch()
  1. 使用gradio命令运行Gradio应用脚本
gradio app.py

结果展示：
image.png

gradio.Interface接口
功能：为任何Python函数提供用户界面
参数介绍：
fn：待创建用户界面的目标函数的名称
inputs：用于输入的组件（如"text" “image"或"audio”）
outputs：用于输出的组件（如"text" “image"或"label”）
inputs和outputs是根据待输入内容而变化的组件

应用部署
在创建Space应用的时候将SDK设置为Gradio，即可实现将使用Gradio构建的应用直接部署到Hugging Face Spaces上
image.png
注意
使用Gradio需要Python 3.7或更高的Python版本，这对python脚本中代码语法提出了要求

参考资料

  1. 《扩散模型从原理到实战》
自律版光追
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
扩散模型 Diffusion Models 入门到实践 | 论文、学习资源、课程整理
叶庭云 成为自己的光
01-23 1553
扩散模型 Diffusion Models 入门到实践 | 论文、学习资源、课程整理
Transformers源码解析/Hugging Face实战/NLP实战//预训练模型/分词器
07-12
你只需要知道，到了今天在NLP领域的所有任务，都可以用Transformer结合Hugging Face去玩就行了。 2012年的word2vec到现在除了科研机构，已经完全不需要使用了。绝大多数的算法工程师和科研人员都没有机会去参与词...
《扩散模型 从原理到实战》Hugging Face （一）
HitStuHan的博客
08-25 1137
Hugging Face最近出版了第一本中文书籍《扩散模型 从原理到实战》，其中内容关于扩散模型（Diffusion Model），和AIGC相关的内容较多（Hugging Face的Diffusion课程链接：https://github.com/huggingface/diffusion-models-class）。在这里，记录一下学习过程。文章内容自用，如有侵权请及时与我联系扩散模型（Diffusion Model）是一类十分先进的基于扩散思想的深度学习生成模型。
扩散模型原理到实战：让AIGC成功破圈的《太空歌剧院》
idol24的博客
08-25 237
福利！免费寄送图书！！公众号【机器学习与AI生成创作】后台回复：168。即可参与免费寄送【扩散模型】图书活动，活动截止日期为2023-08-28晚上10点。公众号后台回复：168（建议选中复制）也可自行购买，戳如下优惠京东专属链接：▲点击专属特价入口，即可5折购书，限50人你能想象吗？下面这些精美绝伦的图片竟然都是AI自动生成的！图：书中插图没想到，AI界已经有如此炫酷的技术！而在整个过程...
扩散模型(Diffusion Models)
Vpn_zc的博客
12-06 811
扩散模型(Diffusion Models)
Hugging Face实战（NLP实战/Transformer实战/预训练模型/模型微调/PyTorch版本）下篇之模型训练
07-12
Hugging Face实战（NLP实战/Transformer实战/预训练模型/分词器/模型微调/模型自动选择/PyTorch版本/代码逐行解析）下篇之模型训练
Hugging Face实战-系列教程19：文本摘要建模实战1（中文商城评价数据处理方法）
12-18
Hugging Face实战-系列教程19：文本摘要建模实战1（中文商城评价数据处理方法）
jvm：:hugging_face:JVM充满原理最全知识总结
02-03
Java虚拟机实质原理知识总结这里仅仅记录了一些笔者认为需要重点掌握的JVM知识点，如果你想更全面地了解JVM逐步原理，可以阅读周志明老师《深入理解Java虚拟机——JVM高级特性与最佳实践（第2/3版）》全书。...
Python本地离线运行机器翻译代码示例 基于Hugging Face
08-14
本项目演示了如何调用Hugging Face的大模型实现本地离线实现机器翻译，Python代码简洁易懂，方便上手，能够快速实现强大的离线翻译功能。 使用方法： 1. 安装 transformers 和 tokenizers 库 pip install ...
RANSAC算法概述
最新发布
点云侠的博客
05-20 430
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1426
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1094
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 782
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
2024成都现代职业教育及装备展6月1日举办 免费参观
wb253228的博客
05-14 699
2024成都现代职业教育及装备展6月1日举办 免费参观同期举办：中国西部职业教育产教融合高峰论坛 主办单位： 中国西部教体融合博览会组委会承办单位：重庆港华展览有限公司博览会主题：责任教育 职教兴邦组委会：交易会159交易会2351交易会9466展会和论坛背景：为推动中国职业教育产业新发展、满足时代新需求，2024第16届中国西部（成都和重庆）现代职业教育及装备博览会及中国现代职业教育产教融合国际高峰论坛在西部重镇成都举办。立足西部，覆盖全球，打造世界职业教育产业链上下游的合作、交流平台，促进产教融合和
四非、双非计算机保研夏令营入营情况
小蒋的博客
05-19 578
厦大 信息学院，电影学院，CS，人工智能浙软（海营，预推免入场券）、工程师华东科技大学网安中国科学技术大学 先进技术研究院，空间应用工程与技术中心，信工所，软件所，计算与网络中心，计算技术研究所北京师范大学 认知神经科学与学习国家重点实验室山东大学 网络空间与安全学院，SE天津大学 智能与计算机学部华中师范大学 计算机学院、大数据北航计算机南开计算机，SE吉大计算机、SE、人工智能湖南信息山大计院（不发offer），网安成电计算机，网安。
长江商学院隽永参访实在智能，沉浸体验实在Agent
SHIZAIZHINENG的博客
05-16 537
长江隽永是中国首个全方位关注并赋能“她价值”的女性成长平台，此次参访实在智能，旨在深入学习并交流最前沿的Agent技术，引导企业进行科学决策和组织变革，从而帮助企业从个体成长跃升为具有全球视野的数字化领导者。随着数字化技术的不断发展，人工智能、虚拟现实等新技术的的应用已经深入社会的方方面面，并在不断地释放着创新的活力，AI+RPA技术的涌现，外加人力成本的大幅度增加，使得企业对智能数字员工的服务需求越来越大。实在智能创始人、CEO孙林君和实在伙伴一同接待。
AIGC是什么?
米的
05-15 1292
AIGC，全称为Artificial Intelligence Generated Content，即人工智能生成内容，是当前AI技术发展的一个重要方向。这项技术利用机器学习、深度学习、自然语言处理以及其他高级算法，使计算机系统能够自动或辅助生成包括文字、图像、音频、视频、3D模型等多种形式的创意内容。AIGC不仅代表了从人工智能1.0向2.0时代的转变，还标志着AI在认知智能层面的巨大进步，为内容创造开启了全新的可能性。
[数据集][目标检测]抽烟喝酒检测数据集VOC+YOLO格式1026张2类别
FL1623863129的博客
05-18 273
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注类别名称:[“drinking”,“smoking”]图片数量(jpg文件个数)：1026。标注数量(xml文件个数)：1026。标注数量(txt文件个数)：1026。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
将 Hugging Face 模型 部署到本地后，可否提供api
05-27
是的，您可以将部署在本地的 Hugging Face 模型封装成 API，供其他应用程序或服务调用。具体来说，您可以使用 Flask、Django 或 FastAPI 等 web 框架，编写一个 RESTful API，将输入的文本数据传递给模型进行处理，并将处理结果以 JSON 格式返回给调用方。 以下是一个简单的使用 Flask 框架封装 Hugging Face 模型的示例： ```python from flask import Flask, request, jsonify from transformers import pipeline app = Flask(__name__) model = pipeline("text-generation", model="gpt2") @app.route("/generate", methods=["POST"]) def generate_text(): text = request.json["text"] generated_text = model(text, max_length=50)[0]["generated_text"] return jsonify({"generated_text": generated_text}) if __name__ == "__main__": app.run() ``` 在上面的示例中，我们使用了 Hugging Face 的 text-generation pipeline 和 GPT-2 模型，创建了一个可以接收 POST 请求的 Flask API，将输入的文本传递给模型进行处理，并将生成的文本以 JSON 格式返回给调用方。 需要注意的是，将 Hugging Face 模型封装成 API 需要一定的编程经验和技能，同时还需要考虑模型的性能和安全性等问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值