[nlp] 下载huggingface代码的预训练数据时会自动kill

最新推荐文章于 2024-08-30 16:46:26 发布
最新推荐文章于 2024-08-30 16:46:26 发布
阅读量475 收藏 7
点赞数 11
分类专栏： nlp 文章标签： 自然语言处理 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/135155184
版权
在尝试下载huggingface的50G小语种预训练数据时，由于内存限制（默认16G）导致进程被kill。解决方法是分配大于数据大小的内存，例如分配80G。参考链接：https://huggingface.co/datasets/HeNLP/HeDC4/tree/main
摘要由CSDN通过智能技术生成

下载一份小语种训练数据时，大概有50G，自动kill。

解决办法：

        内存申请的16G太小，应该申请比数据大小大的内存空间，于是申请了80G。

https://huggingface.co/datasets/HeNLP/HeDC4/tree/main

 内存使用率：

心心喵
关注
专栏目录
订阅专栏
【NLP】第17章 处理很少或没有标签
sikh_0529的博客
09-26 6913
有一个问题在每个数据科学家的脑海中根深蒂固，以至于他们通常在新项目开始时问的第一件事是：是否有任何标记数据？通常情况下，答案是“不”或“一点点”，然后客户期望您团队的精美机器学习模型仍应表现良好。由于在非常小的数据集上训练模型通常不会产生好的结果，一个明显的解决方案是注释更多的数据。但是，这需要时间并且可能非常昂贵，特别是如果每​​个注释都需要领域专业知识来 验证。幸运的是，有几种方法非常适合处理很少或没有标签的情况！您可能已经熟悉其中的一些，例如零样本或少样本学习。
快速方便地下载huggingface的模型库和数据集
zik的博客
07-30 1841
使用方法：将hfd.sh拷贝过去，然后参考下面的参考命令，下载数据集或者模型。欢迎大家关注笔者，你的关注是我持续更博的最大动力。或克隆此存储库，然后授予脚本执行权限。这个代码不能保持目录结构，见下面的改进版。获取huggingface令牌，然后。中，这个命令行工具巧妙地利用。来处理 LFS 文件，并使用。为了方便起见，您可以创建一个别名。原创文章，转载告知，盗版必究。首先，下载 hfd.sh。
HuggingFace 模型离线使用最佳方法！
CBIhalsen的博客
03-29 2601
os.environ['TRANSFORMERS_OFFLINE']="1"，放弃向huggingface联网访问。其余文件如：rust,我们并不需要下载， 不使用tesorflow ,tf_model.h5也不需下载/如果需要增添模型文件，可在文件列表进行修改。
解决git与huggingface项目下载速度慢或者失败的问题
知来者逆的博客
11-27 5212
详细记录，解决git与huggingface 下载速度慢或者直接下载不下来的问题。
预训练永不止步，游戏问答语言模型实操
Paper weekly
02-17 1544
©PaperWeekly 原创 ·作者｜程任清、刘世兴单位｜腾讯游戏知几AI团队研究方向｜自然语言处理简介深度学习时代，为了充分训练深层模型参数并防止过拟合，通常需要更多标注数据喂养，在...
Megatron-Deepspeed 预训练 GPT-小白踩坑与解决
Chenql716的博客
11-02 9946
Megatron deepspeed 实现对 gpt 的预训练
恒源云(GPUSHARE)_3090跑NLP预训练模型ELECTRA实录
weixin_53977063的博客
06-16 1396
文章来源 | 恒源云社区（专注人工智能/深度学习GPU云服务器免费租用平台，官方体验网址：https://gpushare.com） 原文地址 |哪个男孩不想拥有自己的预训练模型(留下贫穷的眼泪) 作者 | junyu 本人使用RTX3090在openwebtext数据集上添加rotary-position-embedding，训练electra-small模型，由于openwebtext文件太大，故本教程提供本人处理好的数据集。 1、环境选择 pytorch 1.8.1 python ...
深度学习训练基础
zhaogang12138的博客
03-21 2362
深度学习pytorch框架下构建一个文本分类器的基本框架
3小时从0训练个人大模型，参数最小仅26M，0基础快速入门！
最新发布
gjyloveIT的博客
08-30 1703
仅需3小时从0训练个人大模型，参数最小仅26M，适合个人学习者0基础快速入门！
大型多领域预训练模型数据集：自然语言处理+NLP预训练+多领域数据集+语言模型优化
04-25
这款大模型数据集资源，是一款集自然语言处理、NLP预训练、多领域数据集和语言模型优化于一体的先进工具。它旨在为研究者和开发者提供一个全面、高效的数据集，助力他们在大模型领域取得突破。 无论您是NLP领域的...
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
imdb自然语言处理bert预训练数据
01-27
标题"imdb自然语言处理bert预训练数据"指的是将BERT模型应用于IMDb数据集进行预训练的过程。IMDb是一个大型电影和电视节目的数据库，包含了观众和评论者的评价，这些评价构成了丰富的文本资源，适合用于情感分析任务...
自然语言处理用的二分类微调数据SST，可以参考huggingface来具体操作训练
02-14
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成人类语言。在这个领域，预训练模型已经成为一个核心工具，它们通过在大规模无标注文本上进行预训练，学习到丰富的语言...
[nlp] scikit-learn 朴素贝叶斯类库概述——GaussianNB，MultinomialNB，BernoulliNB
心宝的博客
03-15 6452
参考：https://www.cnblogs.com/pinard/p/6074222.html 1.scikit-learn 朴素贝叶斯类库概述 scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝...
[nlp] 深度学习技巧（防止过拟合）——Early Stopping 早停法
心宝的博客
03-18 4875
参考：https://www.datalearner.com/blog/1051537860479157#2.2%E3%80%81%E5%81%9C%E6%AD%A2%E6%A0%87%E5%87%86%E9%80%89%E6%8B%A9%E8%A7%84%E5%88%99 一、早停法简介（Early Stopping） 当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能（general...
[nlp] SQuAD 数据集介绍(Q+A+原文)
心宝的博客
05-22 4208
一、SQuAD 1.1 SQuAD 是由 Rajpurkar等人提出的一个 抽取式QA数据集 [闭集]。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章。 对于每个文章的问题(<=5)，有很多标注人员标注答案，且答案出现在原文中。 二、SQuAD 2.0 相较SQuAD 1.1中的10万问答,SQuAD 2.0又新增了5万个人类撰写的问题——而且问题不一定有对应答案。 三、QA架构 SQuAD阅读理解模型总结_catbird233的博客...
[nlp] Word2vec模型 skip-gram和CBOW区别
心宝的博客
11-11 3395
区别 Word2Vec模型中，主要有Skip-Gram和CBOW两种模型。 Skip-Gram是给定input word来预测上下文。 而CBOW是给定上下文，来预测input word。 Embedding其实就是一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个新的空间中去。 Skip-gram 第一部分为建立模型，第二部分是通过模型获取嵌入词向量。 Wo...
huggingface预训练
05-19
Hugging Face是一个自然语言处理（NLP）公司，他们开发了一系列预训练模型和工具，使得在NLP任务中使用深度学习技术更加容易。预训练模型是指在大量的未标记数据上进行训练的模型，其目的是在不需要过多人工标注数据的情况下，为特定的任务提供强大的基础模型。 Hugging Face的预训练模型主要基于Transformer架构，包括BERT、GPT、RoBERTa等。这些模型在各种NLP任务中都有着非常优秀的表现，如文本分类、机器翻译、语义理解等。Hugging Face提供了许多预训练模型的代码和工具，方便使用者快速进行迁移学习和fine-tuning。 同时，Hugging Face还开发了一些NLP工具，如tokenizers、datasets等，这些工具能够帮助用户快速预处理数据和构建模型。此外，Hugging Face还提供了基于Web的交互式界面，使得用户可以直接使用Hugging Face的预训练模型来解决自己的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值