transformers环境配置+文本分类实例

已于 2024-12-18 15:43:12 修改
阅读量679 收藏 8
点赞数 4
分类专栏： 学习笔记 算法实战 文章标签： python
于 2024-12-17 21:32:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZL2020LZL/article/details/144537198
版权

1.配置虚拟环境

！conda create -n nlp python=3.9
！conda activate nlp

最好选用python3.9因为3.8会导致jupyterlab下载失败

前提： 我不推荐引入额外的镜像，除非你下载极慢，正常镜像就挺好用的。
引入镜像（选做）

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

这样的话默认使用清华镜像下载，就不会每次都去在指令后添加了。
清华大学开源软件镜像站网址
在这里插入图片描述
取消清华源

！pip config unset global.index-url

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《掌握Transformers训练＋预测看一篇即可》 详细讲解 如何使用“自己“数据集微调Transformers文本分类模型，并使用自己预训练的模型进行本地预测?
LZL2020LZL的博客
12-23 232
喜欢看文字的跟着我，我会挑重点的对上述课程的重要知识点融入自己的理解进行汇总。因为DataLoader里面有聚合的作用，因为label本身就是数字所以可以进行聚合成tensor，但是对于文本来说没用，因此需要重新改写聚合。，即在训练完成后加载最优模型，可以看见最优模型为-330，因此，我们将该文件夹拿出放在根目录下并取名为best_model。熟悉这个流程后，我们进行第二部分，对第一部分代码的优化。加上tokenizer的完整代码，此时的文本和标签的输出都变成了tensor，可以加载带网络中去啦。
通过情感分类实例 详细介绍如果借助Huggingface平台 完成Transformers模型运行（包括配置环境-tokenizer-Model-输出头-预测）
LZL2020LZL的博客
12-14 999
attention_mask和padding是配套使用的，当人为去修改padding的时候，也要把attention_mask里面的参数进行修改。下载Huggingface包，Huggingface可以说是一个社区，集成了很多nlp的模型、数据集、预训练权重文件等等，并且免费，只需要pip install下载即可。那么用什么做分类就选择什么输出头，就import什么东西。代码中使用了自动分词器选择，它是由checkpoint指定的预训练模型关联的，不用我们自己选择tokenizer，它自动帮我们选择好了。
搭建transformers环境
weixin_45405066的博客
02-06 3474
1 安装pytorch 跳转到pytorch的网站 pytorch安装配置页 conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch 2 安装 transformers pip install transfomers# 失败 使用git下载 git clone https://github.com/huggingface/transformers cd transformers pip install .
安装transformer（配置pytorch环境；安装transformers库）
sunshine_boy1的博客
10-14 9135
安装transformer（配置pytorch环境；安装transformers库）
【Transformers系列】一文读懂基础知识+环境安装
最新发布
m0_48891301的博客
04-19 604
第一阶段:统计模型+数据(特征工程)决策树、SVM、HMM、CRF、TF-IDF、BOW第二阶段:神经网络+数据第三阶段:神经网络+预训练模型+(少量)数据第四阶段:神经网络+更大的预训练模型+PromptChatGPT、Bloom、LLaMA、Alpaca、Vicuna、MOSS、文心一言、通义千问、星火核心库，模型加载、模型训练、流水线等Tokenizer:分词器，对数据进行预处理，文本到token序列的互相转换。Datasets:数据集库，提供了数据集的加载、处理等方法。
Transformers之环境安装
热门推荐
qq_35215756的博客
03-18 2万+
自定义安装，主要是为了在docker中使用conda虚拟环境。
大模型学习应用 3: AutoDL 平台 transformers 环境搭建及模型部署使用（持续更新中）
qq_33489955的博客
08-28 2453
之前我们学习了在和鲸的预配置好的平台上进行学习，在工作中并不现实，本期我们的目标是将已有模型部署到云端进行运行配置环境：RTX 4090D(24GB) python 3.12(ubuntu22.04)
Swin Transformer 环境搭建
冷冻工厂
09-15 4081
Swin Transformer 环境搭建 1. 摘要 本文主要对 Swin-Transformer-Object-Detection[1] 进行简要介绍，并考虑到其环境安装对新手而言是一个常见的挑战，因此本文实现了其对应的环境安装。 2. 介绍 Swin Transformer Swin Transformer[2]是微软研究院2021年发表在ICCV上的一篇文章，已获得ICCV-2021-best-paper的荣誉称号。该论文一经发表就已在多项视觉任务中霸榜（如下图）。 3. 环境配置 Swin Tr
Transformers 框架 Pipeline 任务详解：文本分类（text-classification 或 sentiment-analysis）
老牛啊
12-05 1056
本文深入浅出地介绍了Transformers框架中的text-classification任务，并结合Gradio库搭建一个可视化的Web界面，帮助您快速掌握文本分类的最佳实践。通过Pipeline API，您可以轻松使用预训练模型进行情感分析、垃圾邮件检测等任务……
利用Transformer实现文本分类及情感分析技术
AI天才研究院
07-13 5880
随着互联网和大数据时代的到来，大量的文本数据在各个领域得到了广泛应用。如何对这些文本数据进行有效的分类和情感分析成为了当前研究和应用的热点。近年来，Transformer 作为一种先进的深度学习模型，在自然语言处理领域取得了巨大的成功。通过 Transformer，我们可以实现对文本数据的高效处理，提高分类和情感分析的准确性和效率。
Transformer运行环境搭建：从PyTorch安装到python文件运行（CPU上计算）
m0_46227838的博客
12-27 1667
Transformer是一个深度学习框架。本文介绍了在硬件条件只有CPU的情况下，如何搭建PyTorch（一种流行的深度学习框架）并实现Transformer代码文件运行的完整过程，供刚入门的同学参考。
大模型入门 | 搭建 AI 模型开发环境（二）安装 PyTorch 和 Transformers、使用 Modelscope 下载加载模型、PyCharm 项目配置....
m0_56255097的博客
10-02 1919
Flax、PyTorch 或 TensorFlow 都是深度学习框架，而 Transformers 底层可以使用 Flax、PyTorch 或 TensorFlow 深度学习框架，实现模型加载、训练等功能。PyTorch 安装参考文档：https://pytorch.org/get-started/locally/可以安装 GPU 版本(CUDA)或 CPU 版本，然后复制下方提示的安装命令。然后还需要执行命令安装 Transformers 和一些依赖库。
搭建Transformer模型保姆级教程-亲测！！！
Dreams°的博客
09-04 1156
这个简化示例展示了如何搭建和训练一个基本的 Transformer 模型用于文本分类。实际应用中，你可能需要更复杂的模型结构和数据处理步骤。务必根据具体任务调整模型结构、数据预处理和超参数设置。。Transformer模型是一种深度学习架构，首次由 Vaswani 等人在 2017 年提出，主要用于处理序列数据如自然语言。其核心创新在于使用自注意力机制（Self-Attention）来捕捉序列中不同位置之间的依赖关系，而无需传统的递归神经网络（RNN）或卷积神经网络（CNN）。
Transformers之环境安装_安装 transformers，Linux运维程序员架构之路该如何继续学习
m0_60721860的博客
04-06 2084
【代码】Transformers之环境安装_安装 transformers，Linux运维程序员架构之路该如何继续学习。
实战教程：用一张4090显卡+512GB内存部署671B的Deepseek大模型
CSDN_224022的博客
02-22 2683
近日，清华大学MADSys团队正式开源了面向资源受限环境的KTransformers算法框架。基于该框架的技术特性，用户可以在一张4090显卡的设备中部署满血671B的Deepseek。老王看到这个消息非常兴奋，因为这意味着只需要几万块钱就可以实现原本需要百万才能实现的“满血梦”。老王在工作之余，赶紧找了一台设备，实际操练一下，先实现自己的“满血梦”。同时，我把我自己的部署过程记录了下来，供大家参考学习。1、硬件配置系统显卡1*4090内存512GB2、部署ktransformer。
基于Transformer框架的研究环境配置
weixin_43343408的博客
12-22 938
python+pycharm环境配置
关于Vision Transformer的复现&其环境配置
Nismilesucc的学习札记
11-01 1020
安装tqdm库、matplotlib库、fvcore库 tqdm/tqdm: A Fast, Extensible Progress Bar for Python and CLI 使用fvcore计算Pytorch中模型的参数数量以及FLOPs 安装TensorBoard 直接 pip install tensorboard Pytorch 1.9.0 + Tensorboard 2.5.0可视化工具使用记录 在Pytorch下安装TensorBoard及使用 ...
《The Annotated Transformer》环境配置
vvvdg的博客
11-23 1013
配置《The Annotated Transformer》论文代码运行环境时老是报错，没有找到完整可行的环境配置方法，很多问题更是找不到解决方法，万幸最后终于配了出来，现在把它记录下来，一是防止遗忘，二是希望能够给像我一样的小白提供一些便利前提说明：本人非常小白，可能部分内容原理无法解释清楚，如有错误欢迎指正~
27倍性能！清华开源神器让24GB显卡流畅运行满血DeepSeek
m0_59235245的博客
02-13 4223
导读在AI技术飞速发展的今天，大语言模型（LLM）的应用越来越广泛。然而，本地运行这些模型，尤其是像DeepSeek-R1这样的大模型，往往需要高性能的硬件支持，这让许多开发者和研究人员望而却步。今天，我们为大家推荐一款由清华大学 MADSys 和 Approaching.AI 专为优化大模型本地推理体验而设计的开源框架–KTransformers。它支持在单卡24GB VRAM的GPU上运行满血版的DeepSeek-R1，性能提升高达27.79倍！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值