Hugging face库

最新推荐文章于 2024-09-14 23:05:59 发布
最新推荐文章于 2024-09-14 23:05:59 发布
阅读量1.6k 收藏 24
点赞数 46
分类专栏： python基础 文章标签： python pytorch AI编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ringnian/article/details/135490513
版权
本文介绍了HuggingFace库中的Transformers，一个涵盖NLP、CV和语音处理的多任务模型库，支持多种框架并提供预训练模型。此外，还介绍了Datasets、Tokenizers、optimum和PEFT等子库，以及加速训练的工具如accelerate，强调了模型配置、数据处理和微调的效率。
摘要由CSDN通过智能技术生成

1. Transformers

是NLP, CV, audio，speech processing 任务的库。 它包含了超过10000个预训练的模型，涵盖了各种NLP任务，如文本分类，问答，文本生成，情感分析等。Transformers库支持多种深度学习框架，如PyTorch，TensorFlow，JAX和Flax，并且可以轻松地在不同的设备上运行，如CPU，GPU和TPU。

官网：GitHub - huggingface/transformers: Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.

主要包含三部分：Config、Tokenizer、Model。

Config

用于配置模型的名称、最终输出的样式、隐藏层宽度和深度、激活函数的类别等。

Model

AI模型(指代基于各种算法模型，比如预训练模型、深度学习算法、强化学习算法等的实现)的抽象概念。
除了初始的Bert、GPT等基本模型，针对下游任务，还定义了诸如BertForQuestionAnswering等下游任务

最低0.47元/天 解锁文章
carmen_山海
关注
专栏目录
Hugging Face 介绍
春华秋实
07-27 153
Hugging Face通过其Transformers库，为NLP领域提供了一个全面的工具集，包括Pipeline、AutoClass、数据集、模型工具和评估工具。这些工具不仅简化了NLP任务的实现，还促进了社区的协作和知识共享，推动了NLP技术的发展和应用。AutoClass是Hugging Face提供的一个强大的工具，它允许用户自动加载和使用预训练模型，而无需关心模型的具体实现细节。这些数据集可以用于模型训练、评估和微调。Hugging Face的模型工具包括模型训练、微调和评估所需的各种工具和库。
Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
热门推荐
iioSnail的博客
08-08 7万+
1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
【大语言模型，数据向量化】向量化时使用本地HuggingFaceEmbeddings失败，调用embeddings时仍会去Huggingface下载的解决方法
weixin_54113360的博客
02-21 3528
模型相对于代码文件的路径为 “cache/shibing624_text2vec-base-chinese”,：没有按照代码指定的去访问本地的cach文件夹下的embeddings，去链接huggingface了，而且链接超时。以上为embeddings模型对应huggingface的下载路径。cache为你设置的 “cache_foler”3. 再次运行代码，即可检测到本地文件中相对应的模型并使用。把字典粘贴到代码中，用字典设置model_name参数。，必须与字典中要使用的模型名字对应的路径一致。
使用 Hugging Face 数据集构建 Embeddings 索引
发呆的比目鱼的博客
12-18 4945
使用 Hugging Face 数据集构建 Embeddings 索引 本教程系列将涵盖txtai的主要用例，这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码，可也可以在colab 中使用。 colab 安装依赖 pip install txtai pip install datasets 在此示例中，我们将加载ag_news数据集，该数据集是新闻文章标题的集合。这只需要一行代码！ 接下来，txtai 将索引数据集的前 10,000 行。在 msmarco 上训练的模型用于计算句子嵌入。句子转
HuggingFace Embedding 转为 Ollama Embedding
最新发布
hawk2014bj的博客
09-14 494
Ollama 使用时要特别注意分词器和 ChatTemplate， 否则对于语言模型输出结果会产生异常，对于 Embedding 模型会出现转换错误。
nodejs 实现加载 huggingface local embedding model 方法
gaohongfeng1的博客
12-05 3625
1. 需要了解transformer js 项目，这是transformer 的js版本，nodejs server端用ts代码实现，无缝集成langchain的话，需要用这个版本。需要注意，transformer支持的模型是有清单的，参考项目下的scripts/support_models.py文件，很多中文模型都不支持，如bge-large-zh，是否配置后就可以，需要确认。3.transformer 项目要加载onnx模型，不能是pytoch模型，所以，翻山越岭，还要解决这一关。
使用 HuggingFace 库进行本地嵌入向量生成
qq_29929123的博客
06-19 2635
在当今的AI和机器学习应用中，嵌入向量（embeddings）已成为不可或缺的一部分。嵌入向量能够将文本等高维数据转换为低维稠密向量，从而便于计算和分析。在本文中，我们将介绍如何使用 HuggingFace 库在本地生成嵌入向量，并演示相关代码。
hugging face 模型库的使用及加载 Bert 预训练模型
IT__learning的博客
10-13 3万+
一、hugging face 模型库 Hugging face 是一个专注于 NLP 的公司，拥有一个开源的预训练模型库 Transformers ，里面囊括了非常多的模型例如 BERT、GPT、GPT2、ToBERTa、T5 等。 官网的模型库的地址如下：Hugging face 模型库官网 Hugging face 提供的 transformers 库主要用于预训练模型的载入，需要载入三个基本对象： from transformers import BertConfig from transformer
notebooks:使用Hugging Face库的笔记本:hugging_face:
03-21
标题中的“notebooks:使用Hugging Face库的笔记本:hugging_face:”表明这是一个关于使用Hugging Face库在Jupyter Notebook环境中进行自然语言处理（NLP）的教程或示例集合。Hugging Face是一个非常流行的开源平台，...
Hugging Face学习
weixin_56368033的博客
09-29 1476
Hugging Face学习
Transformer大模型实战 Hugging Face的Transformers 库
AI天才研究院
06-25 462
1.背景介绍 在自然语言处理（NLP）领域，Transformer模型已经成为了一种标准的架构。自从2017年由Google首次提出以来，Transformer模型以其独特的自注意力机制（Self-Attention Mechanism）和并行处理的优势，逐渐在各种NLP任务中取得了显著的成果。然而，Transformer模型的实现和优化并非易事，需要
中文环境下使用 huggingface 模型替换 OpenAI的Embedding 接口
dotNET跨平台
05-22 2555
OpenAI的文本嵌入衡量文本字符串的相关性。嵌入通常用于：搜索（其中结果按与查询字符串的相关性排名）聚类（其中文本字符串按相似性分组）推荐（推荐具有相关文本字符串的项目）异常检测（识别出相关性不大的异常值）多样性测量（分析相似性分布）分类（其中文本字符串按其最相似的标签分类）嵌入是浮点数的向量（列表）。两个向量之间的距离衡量它们的相关性。小距离表示高相关性，大距离表示低相关性。但是OpenAI的...
使用huggingface的text embedding models
我的博客
02-27 2896
使用huggingface的text embedding models
解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
m0_58700887的博客
05-10 2655
也就是说加载完向量化模型后，我初始化了Chroma向量数据库，然后对传入的doc文档数据进行向量化，它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的，但是Chroma却需要调用这个属性来实现文档向量化（通过HuggingFaceEmbeddings来加载模型就不会报错，但是离线服务器上用不了）。最后再调用这个类，就能正常对文档进行向量化和本地持久化了。
HuggingFace过去七天最流行的AI模型一览——预训练大模型绝对王者
weixin_48827824的博客
04-20 2864
HuggingFace是目前最火热的AI社区，很多人称之为AI模型的GitHub。包括Google、微软等很多知名企业都在上面发布模型。
PEFT LoRA 介绍（LoRA微调使用的参数及方法）
qyhua的专栏
07-26 1287
官网简介如下图：翻译过来是：低秩自适应(LoRA)是一种PEFT方法，它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层，其实我自己平时微调操作注意力层+多层感知机层，感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层，不知道微调加入其它层效果会不会更好？
Hugging Face 的应用
霍格沃兹测试学院的博客
09-09 1105
社区联合国内 AI 领域合作伙伴与高校机构， 致力于通过开放的社区合作，构建深度学习相关的模型开源社区，并开放相关模型创新技术，推动基于“模型即服务”（Model-as-a-Service）理念的模型应用生态的繁荣发展。百度智能云千帆大模型平台（以下简称千帆或千帆大模型平台）是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种 AI 开发工具和整套开发环境，方便客户轻松使用和开发大模型应用。
Hugging Face教程
weixin_43680622的博客
06-07 1150
Hugging Face是一个专注于NLP的开源组织，致力于提供易用且高效的NLP工具和模型。Hugging Face的核心目标是使NLP技术更加普遍和可访问。其中，Hugging Face Transformers库是它最为著名的项目之一。Transformers库提供了各种预训练模型（如BERT、GPT、RoBERTa等）和模型架构，可用于解决各种NLP任务。通过本文，我们详细介绍了Hugging Face在自然语言处理中的应用。
调用本地embeddings时仍会连接Huggingface下载的解决方法
weixin_73089812的博客
05-05 2455
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值