利用Hugging Face中的模型进行句子相似性实践

本文介绍了如何利用Hugging Face平台的transformers库进行句子相似性计算。内容涵盖Hugging Face的资源、模型选择、安装、实践操作以及代码理解,特别提到了在实践过程中可能遇到的问题及解决方案。
摘要由CSDN通过智能技术生成

🚀 优质资源分享 🚀

学习路线指引(点击解锁) 知识定位 人群定位
🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。
💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

Hugging Face是什么?它作为一个GitHub史上增长最快的AI项目,创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢?因为现在很多AI研究者写了大量的论文和开源了大量的代码,但是AI工程师又不能直接很好的使用,而Hugging Face将这些AI模型进行了更好的封装,满足了AI工程师的生产实践需要,大大降低了AI模型使用的门槛。Hugging Face已经共享了超100,000个预训练模型,10,000个数据集,涵盖了 NLP、计算机视觉、语音、时间序列、生物学、强化学习等领域,以帮助科学家和相关从业者更好地构建模型,并将其用于产品或工作流程。最近宣布融资1亿美元,这使其估值达到了20亿美元。

一.Hugging Face模型

模型页面包括各种AI任务,使用的深度学习框架,各种数据集,语言种类,许可证类型等。重点说下各种类型的任务如下:

1.计算机视觉任务
Image Classification,Image Segmentation,Image-to-Image,Unconditional Image Generation,Object Detection
2.自然语言处理任务
Translation,Fill-Mask,Token Classification,Sentence Similarity,Question Answering,Summarization,Zero-Shot Classification,Text Classification,Text2Text Generation,Text Generation,Conversational,Table Question Answering
3.音频任务
Automatic Speech Recognition,Audio Classification,Text-to-Speech,Audio-to-Audio,Voice Activity Detection
4.多模态任务
Feature Extraction,Text-to-Image,Visual Question Answering,Image-to-Text
5.Tabular任务
Tabular Classification,Tabular Regression
6.强化学习任务
Reinforcement Learning

二.Hugging Face文档


1.Hub:在Hugging Face Hub上托管基于Git的模型、数据集和空间。
2.Transformers:Pytorch、TensorFlow和JAX的最新ML。
3.Datasets:访问和共享CV、Audio和NLP任务的数据集。
4.Tokenizers:快速tokenizers,针对研究和生产进行了优化。
5.Gradio:用几行Python构建机器学习演示和其它Web应用程序。
6.Hub Client Library:HF Hub的客户端库:从Python运行时管理存储库。
7.API Inference:通过推理API可以使用超过30k个模型,并且内置可伸缩性。
8.Accelerate:使用multi-GPU,TPU,混合精度容易的训练和使用PyTorch模型。
9.Amazon SageMaker:使用Amazon SageMaker和Hugging Face DLCs训练和部署Transformer模型。
10.Optimum:容易的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值