记录跑Sentence-Bert中出现的问题和收获

已于 2023-10-31 19:00:07 修改
阅读量119 收藏
点赞数
文章标签： 1024程序员节
于 2023-10-25 15:06:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/t1anye/article/details/134019376
版权

1. 服务器网速太慢的时候使用国内的源，在 pip install xx 后面加上 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com.

2. 报错torch‘ has no attribute ‘inference_mode‘和AttributeError: module 'torch' has no attribute 'autocast', 实测在另一台服务器上torch版本为2.0.1并不会出现此类问题，能升级最好是通过升级解决。

3. 使用tmux可以将程序挂在后台跑，这样就不用担心网络波动导致的断连了。具体见Tmux 使用教程 - 阮一峰的网络日志 (ruanyifeng.com)

4. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use）报错是因为由于中途关闭DDP运行，从而没有释放DDP的相关端口号，显存占用信息，当下次再次运行DDP时，使用的端口号是使用的DDP默认的端口号，也即是29500，因此造成冲突。解决方法：在命令行中在启动DDP命令中（在xx.py前）手动加上一句"_ _master_port=xxxxx"（注意需要释放前一个DDP占用的显存，可能会导致显存不足）

5. 查看显卡使用情况的命令：nvidia-smi

6. n-gram语言模型、基于行长度或字母数字字符比例的启发式方法、重复数据删除似乎可以用来过滤低质量的数据

t1anye
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大语言模型原理与工程实践：数据瓶颈问题分析和解决方法原理与应用
禅与计算机程序设计艺术
06-25 314
在过去的几年里，随着深度学习技术的飞速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（Natural Language Processing, NLP）领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，并在各种NLP任务中表现出色。然而，随着模型规模的不断扩大和应用场景的不断拓展，数据瓶颈问题日益凸显，成为制约大语言模型进一步发展的关键因素。
大语言模型应用指南：从人工智能的起源到大语言模型
禅与计算机程序设计艺术
06-27 775
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
《基于Sentence-BERT训练自己的文本相似度模型》源代码
最新发布
08-06
BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。Sentence-BERT(SBERT)网络利用孪生网络和三胞胎网络结构生成具有语义意义的句子embedding向量，语义相近的句子其embedding向量距离就比较近，从而可以用来进行相似度计算(余弦相似度、曼哈顿距离、欧式距离)。这样SBERT可以完成某些新的特定任务，例如相似度对比、聚类、基于语义的信息检索。
Sentence-BERT: 一种能快速计算句子相似度的孪生网络
张伟的专栏
08-01 2446
一、背景介绍 　　BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。 　　本文基于BERT网络做了修改，提出了Sentence-BERT(SBERT)网络结构，该网络结构利用孪
AttributeError: module ‘torch‘ has no attribute ‘inference_mode‘
集电极
04-04 5330
在运行论文源码是弹出AttributeError: module 'torch' has no attribute 'inference_mode' 异常 原因是pytorch版本问题 torch.inference_mode()在v1.9发布的，所以要保证pytorch版本在1.9以上。 pytorch 以前版本安装命令网站 https://pytorch.org/get-started/previous-versions/ ...
torch‘ has no attribute ‘inference_mode‘
qq_34845880的博客
11-30 5422
torch' has no attribute 'inference_mode'
【EMNLP 2019】Sentence-BERT
09-15 1915
在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NLP任务上取得了不错的性能，但其自身导出的句向量（【CLS】输出的向量、对所有输出字词token向量求平均）质量较低。由于BERT输出token向量预训练中，后面接的的分类的任务。所以其实输出token向量并不适合作为生成句子表示。
解决方案AttributeError: module ‘torch‘ has no attribute ‘manual_seed‘
QAQ6QAQ的博客
09-20 970
出现这个错误的原因可能是你将torch和pytorch_lightning装在一个环境里了，这个时候需要卸载torch或者你创建一个新的环境单独安装pytorch_lightning。
安装pytorch血泪史
u011632614的博客
09-03 1792
最开始是torch0.1版本 报错： AttributeError: module ‘torch’ has no attribute ‘device’ 解决：CSDN博主「xqlily」博客内容如下： ubuntu14.04 pycharm运行github上的例子https://github.com/yunjey/pytorch-tutorial/blob/master/tutorials/01-basics/feedforward_neural_network/main.y ,报错标题中的错误At
奇点已过？聊聊BERT之后的NLP时代
weixin_45583158的博客
05-27 426
作者吴金龙，爱因互动技术合伙人，算法负责人。本文转自知乎专栏“智能对话机器人技术”，欢迎大家关注。2018年是NLP的收获大年，模型预训练技术终于被批量成功应用于多项N...
论文阅读汇总（2）-【篇数：50】
scu-liu的博客
04-24 756
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 2021-2-3开始，期待刷到100篇的那一天。 1-50：前50篇汇总 20210424- 《Logic-Guided Data Augmentation and Regularization for Consistent Question Answering》 主要内容： 20210424- 《UnifiedQA: Crossing Format Boundaries With a Single QA System》 主
基于大语言模型的智能问答系统设计与实践【系列文章】
AI架构设计之禅
03-28 1739
随着人工智能技术的迅猛发展，智能问答系统在各行各业中得到了广泛应用。无论是智能客服、在线教育，还是智能助手，问答系统都在提升用户体验和服务效率方面发挥着重要作用。然而，传统的问答系统往往依赖于规则和模板，难以应对复杂多变的用户需求，且开发成本高，维护难度大。近年来，大规模预训练语言模型（Large Language Models, LLMs）的出现，为智能问答系统带来了新的解决方案。
AttributeError: module ‘torch‘ has no attribute ‘_C‘
wbk1669177085的博客
12-09 2202
这个错误表明你正在尝试访问torch模块的一个不存在的属性'_C'。这可能是因为你使用的PyTorch版本与你的代码不兼容。请检查你的PyTorch版本，并确保它与你的项目要求的版本一致。如果你的PyTorch版本过低，你可以尝试升级到最新版本。如果问题仍然存在，你可能需要检查你的代码，确保你没有错误地引用了不存在的属性。
python 深度学习 解决遇到的报错问题
水w的博客
06-26 5484
python 深度学习 解决遇到的报错问题
定义图卷积操作类时 AttributeError module ‘torch‘ has no attribute ‘Module‘
zansuolly的博客
03-05 980
AttributeError: module 'torch' has no attribute 'Module'
AttributeError: module ‘torch.nn‘ has no attribute ‘module‘
热门推荐
weixin_41285413的博客
08-04 2万+
这个错误折腾了一下午，最后发现既不是torch版本问题，也不是python环境问题，只要把代码里的nn.module改成nn.Module就好了。 就无语。
AttributeError: module 'torch' has no attribute 'device'
宁静致远
01-17 1万+
ubuntu14.04 pycharm运行github上的例子https://github.com/yunjey/pytorch-tutorial/blob/master/tutorials/01-basics/feedforward_neural_network/main.y ,报错标题中的错误AttributeError: module 'torch' has no attrib...
【无标题】
qq_43437435的博客
11-09 946
训练自己设置的关键点数据集参考：https://blog.csdn.net/weixin_43229348/article/details/123500917?
windows+Anaconda环境下安装BERT成功安装方法及问题汇总
vivisol的博客
03-10 3574
在Windows+Anaconda环境下安装BERT，遇到各种问题，几经磨难，最终成功。接下来，先介绍成功的安装方法，再附上遇到的问题汇总。
Sentence-Bert
10-26
对于引用中的例子，可以使用Sentence-Bert来计算Anchor句子与Positive句子的相似度和Anchor句子与Negative句子的相似度，从而判断Positive句子是否与Anchor句子含义相近，Negative句子是否与Anchor句子含义相远。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值