【错误解决】使用HuggingFaceInstructEmbeddings时的一个错误

最新推荐文章于 2024-07-23 09:46:04 发布
最新推荐文章于 2024-07-23 09:46:04 发布
阅读量342 收藏
点赞数 1
文章标签： AI编程 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dopapapa/article/details/139179524
版权

起因：使用huggingface构建一个问答程序时出现的问题。

错误内容：

分析：

查看代码发现，HuggingFaceInstructEmbeddings和sentence-transformers模块版本不兼容导致。

可以明显看到方法参数不同。

解决：

安装sentence-transformers时带上版本号，否则默认会安装最新版本。以下版本没有问题

pip install sentence-transformers==2.2.2

重新安装后，再次运行可以发现，能成功加载并下载模型

Slahser123456
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Hugging Face 数据集构建 Embeddings 索引
发呆的比目鱼的博客
12-18 4739
使用 Hugging Face 数据集构建 Embeddings 索引 本教程系列将涵盖txtai的主要用例，这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码，可也可以在colab 中使用。 colab 安装依赖 pip install txtai pip install datasets 在此示例中，我们将加载ag_news数据集，该数据集是新闻文章标题的集合。这只需要一行代码！ 接下来，txtai 将索引数据集的前 10,000 行。在 msmarco 上训练的模型用于计算句子嵌入。句子转
大模型从入门到应用——LangChain：模型（Models）-[文本嵌入模型：Embaas、Fake Embeddings、Google Vertex AI PaLM等]
冯·诺依曼
07-26 1万+
本文将介绍如何在LangChain中使用Embedding类。Embedding类是一种与嵌入交互的类。有很多嵌入提供商，如：OpenAI、Cohere、Hugging Face等，这个类旨在为所有这些提供一个标准接口。嵌入创建文本的向量表示会很有用，因为这意味着我们可以在向量空间中表示文本，并执行类似语义搜索这样的操作。
【深度学习】Hugging Face Transformers：预训练语言模型与迁移学习
qq_33578950的博客
04-16 820
Hugging Face Transformers 是一个用于自然语言处理（NLP）的开源库，提供了各种预训练模型。这些模型被广泛应用于各种任务，如文本分类、命名实体识别、问答、文本生成等。Transformers库易于使用，可方便地集成到现有的深度学习框架，如PyTorch和TensorFlow。本文介绍了Hugging Face Transformers库，包括预训练语言模型和迁移学习。
社区供稿 | 中文 LangChain 项目的实现开源工作
Hugging Face
05-18 4342
Chinese-LangChain 是 yanqiangmiffy 同学的开源项目https://hf.co/spaces/ChallengeHub/Chinese-LangChainhttps://github.com/yanqiangmiffy/Chinese-LangChain中文 langchain 项目，基于 ChatGLM-6b + langchain 实现本地化知识库检索与智能答案生...
解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
m0_58700887的博客
05-10 1688
也就是说加载完向量化模型后，我初始化了Chroma向量数据库，然后对传入的doc文档数据进行向量化，它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的，但是Chroma却需要调用这个属性来实现文档向量化（通过HuggingFaceEmbeddings来加载模型就不会报错，但是离线服务器上用不了）。最后再调用这个类，就能正常对文档进行向量化和本地持久化了。
全网最好解决中国hugggingface.co无法访问问题
mar1111s的博客
03-30 5152
主要是因为hugggingface.co在中国境内大部分都无法访问了。注意一定要在你使用transformers之前引入这个镜像网站。
解决HuggingFace加载预训练模型时报错TypeError: expected str, bytes or os.PathLike object, not NoneType
呆萌的代Ma
04-07 4011
完整报错： TypeError: expected str, bytes or os.PathLike object, not NoneType 解决方法 检查下载的组件： 步骤1：完整的下载组件，包括bin文件的模型，配置文件和其他文件（尤其是tokenizer相关的文件） 步骤2：如果有名称不对的，改为与模型页面Files and versions相同的名称 问题解析 这个报错是由于加载预训练时某个assert的报错，即预训练需要加载的组件缺失 ...
5分钟 NLP ：Hugging Face 主要类和函数介绍
deephub
03-04 4663
主要包括Pipeline, Datasets, Metrics, and AutoClasses HuggingFace是一个非常流行的 NLP 库。本文包含其主要类和函数的概述以及一些代码示例。可以作为该库的一个入门教程 。 Hugging Face 是一个开源库，用于构建、训练和部署最先进的 NLP 模型。Hugging Face 提供了两个主要的库，用于模型的transformers 和用于数据集的datasets 。 可以直接使用 pip 安装它们。 pip install transformers
bert中文情感分析二分类任务详解
frank_zhaojianbo的博客
06-11 3770
查看GPU版本和使用情况 import torch if torch.cuda.is_available(): device = torch.device("cuda") print('There are %d GPU(s) available.' % torch.cuda.device_count()) print('We will use the GPU:', torch.cuda.get_device_name(0)) else: print('No GPU avail
ColossalAI-Chat训练手册（RLHF）
chtw的博客
04-15 2554
ColossalAI-Chat是一款基于人工智能技术的智能聊天机器人，是由Colossal AI开发的一款聊天机器人。该机器人使用了最先进的自然语言处理技术和深度学习算法，可以回答各种问题、提供建议、提供娱乐和与用户进行轻松对话。ColossalAI-Chat可以在多种平台上使用，例如Facebook Messenger、Slack、WeChat等。ColossalAI-Chat通过使用自然语言处理技术和深度学习算法，机器人可以理解人类语言的含义，从而生成更加自然和准确的回答。
[毕设记录]MTEB leaderboard；jina-embeddings-v2-base-en遇到的问题记录
My blog tour
04-23 322
MTEB（Massive Text Embedding Benchmark）排行榜，托管在Hugging Face平台上，是一个全面的框架，用于评估文本嵌入模型在各种任务和语言中的表现。它包括一个排行榜，该排行榜根据模型在多个嵌入任务（如双文本挖掘、分类、聚类、对比分类、重新排名、检索、语义文本相似性（STS）和摘要）上的表现进行排名。然后去modelscope，发现要用的话还是得用trust那个参数，还是得能登上hf😂。的参数，不然会回退到bert模型。麻了，都下载到本地了，还得连着。
HuggingFace学习3：加载预训练模型完成机器翻译（中译英）任务
呆萌的代Ma
04-07 5776
加载模型页面为：https://huggingface.co/liam168/trans-opus-mt-zh-en 文章目录整理文件跑通程序，测试预训练模型拆解Pipeline，逐步进行翻译任务 整理文件 首先下载模型所需的全部文件：https://huggingface.co/liam168/trans-opus-mt-zh-en/tree/main，将文件全部下载到本地，命名为trans_model 然后创建一个调用模型的python程序文件：use_translate.py 整个文件结构如下： 跑
hugging face 模型库的使用及加载 Bert 预训练模型
热门推荐
IT__learning的博客
10-13 2万+
一、hugging face 模型库 Hugging face 是一个专注于 NLP 的公司，拥有一个开源的预训练模型库 Transformers ，里面囊括了非常多的模型例如 BERT、GPT、GPT2、ToBERTa、T5 等。 官网的模型库的地址如下：Hugging face 模型库官网 Hugging face 提供的 transformers 库主要用于预训练模型的载入，需要载入三个基本对象： from transformers import BertConfig from transformer
fastapi.exceptions.RequestValidationError: 1 validation error for Request
escaping的博客
07-21 3160
框架用的fastAPI 报错如标题 我有两个路由： @router.get("/{id}") pass @router.get("/others") pass 结果访问 /others报错： fastapi.exceptions.RequestValidationError: 1 validation error for Request path -> id value is not a valid integer (type=type_error.integer) 官网对此的解释 ，
如何使用huggingface微调模型
杂文集
11-29 5028
1 安装包 pip install transformers[sentencepiece] pip install datasets 2 导入数据 from datasets import load_dataset raw_datasets = load_dataset("glue", "sst2") raw_datasets 这里使用的是GLUE中SST2数据集，主要针对电影评论来做情感分类（二分类）。 3 pipeline 整个流程是先分词，将文本转化为向量，输入到模型，得到输出后再进行后处理
Mojo AI编程语言（九）网络编程：构建联网应用
07-20 985
网络编程是现代应用程序开发中不可或缺的一部分，涉及到如何在不同设备之间传输数据，实现各种联网功能。随着物联网、云计算和分布式系统的发展，网络编程的需求愈发强烈。本文将详细探讨如何使用Mojo AI编程语言进行网络编程，构建高效的联网应用程序。
Mojo AI编程语言（十）数据库操作：数据持久化与管理
07-22 351
在现代软件开发中，数据库操作是一个不可或缺的部分。无论是简单的应用程序还是复杂的企业级系统，都离不开对数据的存储、检索和管理。Mojo AI 编程语言不仅提供了强大的人工智能和数据处理功能，还具备对各种数据库进行操作的能力。本篇文章将详细介绍如何使用 Mojo AI 进行数据库操作，包括数据持久化与管理，并通过代码示例展示具体的实现方式。
vscode插件开发笔记——大模型应用之AI编程助手
最新发布
qq_44700741的博客
07-23 277
最近在开发vscode插件相关的项目，网上很少有关于大模型作为AI 编程助手这方面的教程。因此，借此机会把最近写的几个demo分享记录一下。
使用Python的Turtle库绘制动态风车
爱写代码的小朋友
07-20 436
python绘制风车
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值