无网络时使用AutoTokenizer.from_pretrained

最新推荐文章于 2024-08-06 21:31:41 发布
最新推荐文章于 2024-08-06 21:31:41 发布
阅读量4.1k 收藏 10
点赞数 6
文章标签： pytorch transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z_m_zzmz/article/details/124311496
版权
在无外网连接的集群环境中，直接从链接下载预训练模型不可行。通过设置`cache_dir`将模型缓存到本地目录如`./cache3`，原本期望能避免网络错误，但实际上仍出现`ConnectionError`。解决方法是在加载模型配置时添加`local_files_only=True`参数，确保只使用本地文件，避免尝试连接远程资源。此方法同样适用于配置文件加载。
摘要由CSDN通过智能技术生成

最近集群不通外网，导致诸多不便无法直接从链接下载
一开始的想法是先下到cache里然后传上去

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased",cache_dir='./cache3')

但发现不行，传了cache3之后还是会报ConnectionError

最后找了一大圈发现
需要加local_files_only = True这句
对config也算同理

config = BertConfig.from_pretrained("bert-base-uncased",cache_dir='./config_cache',local_files_only=True)
z_m_zzmz
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
luckyuxuan的博客
10-25 1万+
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
AutoTokenizer.from_pretrained 与BertTokenizer.from_pretrained
vivi_cin的博客
03-23 1221
都是 Hugging Face 的 Transformers 库中用于加载预训练模型的 tokenizer 的方法，但它们之间有一些区别。总的来说，如果你想要一个通用的方法来加载任何预训练模型的 tokenizer，你可以使用。但如果你确定你要加载的模型是基于 BERT 结构的，那么。也是一个不错的选择。
AutoTokenizer.from_pretrained报错TypeError: expected string or bytes-like object
Hansdas的博客
06-24 251
网断了，连上网就好了。
PyTorch：找不到必要的动态链接库（DLL）文件
GDHBFTGGG的博客
08-06 449
PyTorch：找不到必要的动态链接库（DLL）文件。
PyTorch重写DataSet类
m0_52420323的博客
08-06 395
摘要：pytorch，深度学习，python
【Pytorch实用教程】torch.distributed.all_reduce详细介绍
惊鸿若梦一书生
08-06 33
all_reduce操作将所有进程中的输入张量进行归约，并将结果分发到所有进程。它支持多种归约操作，例如求和（SUM）、最大值（MAX）、最小值（MIN）等。
YOLOv10改进 | 主干篇 | YOLOv10引入CVPR2023 顶会论文BiFormer用于主干修改
tsg6698的博客
08-06 358
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~添加完BiFormerBlock代码后，在ultralytics/nn/Extramodule/__init__.py文件中引用。在ultralytics/nn/tasks.py文件里引用Extramodule。在tasks.py找到parse_model（
Python面试题：结合Python技术，如何使用PyTorch进行动态计算图构建
码农超哥的博客
08-06 450
PyTorch 是一个流行的深度学习框架，它通过动态计算图（Dynamic Computation Graphs）来支持自动微分（Autograd）。动态计算图的特点是每次前向传播时都会构建新的计算图，这使得它非常灵活，适合处理可变长度的输入和复杂的模型结构。以下是如何使用 PyTorch 构建动态计算图的步骤和示例：导入必要的库：定义模型：创建输入数据：前向传播：反向传播：更新参数：以下是一个简单的线性回归示例，演示了如何使用动态计算图： 关键点解析 动态计算图：在 方法中，每次调用都会构建新的计算
【Pytorch实用教程】Pytorch中nn.Sequential的用法
惊鸿若梦一书生
08-06 250
`nn.Sequential` 是 PyTorch 中用于`构建神经网络`的一种`容器类`，它可以`按顺序封装`多个子模块（层），并依次将输入数据传递给这些子模块。这样可以简化模型的定义，使得代码更加`简洁`和`易读`。
Pytorch人体姿态骨架生成图像
chengxuyuanlaow的博客
08-06 480
ControlNet是一个稳定扩散模型，可以复制构图和人体姿势。ControlNet解决了生成想要的确切姿势困难的问题。Human Pose使用OpenPose检测关键点，如头部、肩膀、手的位置等。它适用于复制人类姿势，但不适用于其他细节，如服装、发型和背景。输入一个图像，并提示模型生成一个图像。Openpose将为你检测姿势。🔹 本案例需使用Pytorch-1.8 GPU-P100及以上规格运行。
三大机器学习框架对比：TensorFlow、PyTorch与Scikit-Learn
最新发布
weixin_43298211的博客
08-06 886
本篇旨在深入探讨三种主流机器学习框架——TensorFlow、PyTorch与Scikit-Learn。随着数据科学和人工智能领域的快速发展，这些框架已成为构建和部署机器学习模型的关键工具。鉴于每种框架的特点和优势各有侧重，了解其核心功能和适用场景对于选择合适的工具至关重要。TensorFlow作为一个由Google Brain团队开发的开源项目，自2015年发布以来，便凭借其强大的扩展性和灵活性，在业界赢得了广泛的认可。
Pytorch 高效快速加载大规模数据集
听雨草堂
08-06 50
HDF5（Hierarchical Data Format version 5）是一种用于存储和管理大量数据的文件格式，支持高效的多维数组存储，支持多层级数据模型，能够存储复杂的科学数据。HDF5 通常以groups 和 datasets 的形式组织。")")0")
动手学深度学习7.2 使用块的网络（VGG）-笔记&练习（PyTorch）
scdifsn的博客
08-06 426
李沐老师《动手学深度学习（PyTorch版）》7.2 使用块的网络（VGG）-笔记&练习详解
使用 Pytorch 从头开始​​构建 Transformer
gongdiwudu的专栏
08-06 656
在今天的博客中，我们将了解 Transformer 的架构。Transformer 通过引入一种通过注意力机制捕获序列内依赖关系的新机制，彻底改变了自然语言处理 (NLP) 领域。让我们分解一下，使用 PyTorch 从头开始​​实现它。
【深度学习框架PyTorch】PyTorch的高级使用与优化
weixin_39372311的博客
08-06 482
PyTorch 允许开发者通过继承nn.Module类来创建自定义层和操作，以满足特殊需求。以下示例展示了如何创建一个自定义的卷积层。# 使用自定义层。
直接用文件方式安装Cuda版本的Pytorch
08-06 90
直接用文件方式安装Cuda版本的Pytorch
Win11+docker+gpu+vscode+pytorch配置anomalib（2）
gaooolianggg的专栏
08-06 213
关于数据集：anomalib会自动下载数据集和模型，但MVTec数据集还是比较大的，我们也可以自己下载好数据，然后把它解压到anomalib/datasets/MVTec路径，这样就不需要在运行代码时下载了。其实在anomalib/notebooks中提供了jupyter示例代码，但我的vscode提示不能在远程容器中运行jupyter，只能够运行py文件，所以我就创建了一个测试代码。初次代码运行会报错，提示缺少一些lib，根据报错提示很容易就能搜索到缺失的软件，将这些软件安装好就可以正常运行了。
PyTorch 的多进程功能及其常见使用
大多_C的博客
08-06 200
PyTorch 的多进程功能强大而灵活,可以显著提升训练效率,特别是在多 GPU 环境下。根据具体需求和硬件配置,选择合适的多进程策略可以大大加速深度学习模型的训练过程。这种方法更接近原生 Python 多进程,提供更多控制。模块的封装,专门为 PyTorch 优化。这是最常用的方法,特别适合多 GPU 训练。模块实现,这是 Python 自带的。PyTorch 的多进程主要通过。
【Pytorch实用教程】nn.LogSoftmax的详细用法及公式
惊鸿若梦一书生
08-06 453
PyTorch 中的一个层，用于在对数空间中计算 Softmax 激活函数。它通常用于多类别分类任务中，以提高数值稳定性。其输入是 logits，即未归一化的得分，输出是这些得分在对数空间中的 Softmax。
AutoTokenizer.from_pretrained
08-12
AutoTokenizer.from_pretrained是一个函数，它可以根据预训练模型的路径或名称来实例化一个自适应的tokenizer。通过这个函数，我们可以加载预训练模型的tokenizer，以便用于处理文本数据。 例如，可以使用transformers库中的AutoTokenizer.from_pretrained函数来加载BertTokenizer，如下所示：tokenizer=AutoTokenizer.from_pretrained('bert-base-cased')[2 这将实例化一个基于BERT模型的tokenizer，用于处理文本数据。我们还可以指定其他参数，如padding、truncation和return_tensors，以根据需要对文本进行处理。 此外，我们还可以使用AutoTokenizer.from_pretrained函数来加载与特定模型相关的tokenizer和模型，如下所示：from transformers import AutoTokenizer, AutoModelForSequenceClassification Model_name = 'distillery-base-uncashed-finetuned-still-2-english' model = AutoModelForSequenceClassification.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name)[3 这将加载一个与指定模型名称相关联的tokenizer和模型。我们可以使用这些tokenizer和模型来进行文本分类任务等。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [huggingface使用（一）：AutoTokenizer（通用）、BertTokenizer（基于Bert）](https://blog.csdn.net/u013250861/article/details/124535020)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [transformers库的使用【二】tokenizer的使用，模型的保存自定义](https://blog.csdn.net/qq_28790663/article/details/115374855)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值