pytorch
文章平均质量分 74
samoyan
分享技术成长的日常
展开
-
加速 PyTorch 模型预测常见方法梳理
在使用 PyTorch 进行模型预测时,可以通过多种方法来加快推理速度。原创 2024-03-13 11:25:58 · 813 阅读 · 0 评论 -
ImportError: cannot import name ‘InterpolationMode‘
这是一种比较高级的插值方法,它可以在放大图像时提供较平滑的边缘和细节。双三次插值通过考虑周围16个像素(4x4邻域)的值来计算新像素的值,比最近邻和双线性插值(分别考虑1个和4个像素)提供了更好的结果。这在计算机视觉任务中很常见,因为需要将不同大小的图像统一到相同的尺寸,以便它们可以被模型处理。如果在尝试上述步骤后仍然遇到问题,你可能需要检查你的代码库是否依赖特定版本的。,或者在代码库的文档、issue跟踪器中寻找相关的兼容性说明。的使用位置,并替换为等效的、在你当前版本的。类,或者你的环境中安装的。原创 2024-03-06 11:31:50 · 833 阅读 · 0 评论 -
使用deepspeed继续训练LLAMA
定义全局批次大小 (GLOBAL_BATCH_SIZE) 和每 GPU 微批次大小 (MICRO_BATCH_SIZE)。DeepSpeed 库提供了优化的优化器算法,如 DeepSpeedCPUAdam 和 FusedAdam,提高了大规模数据和模型训练速度。利用 PyTorch 和 Transformers 库创建数据加载器,它支持单机或多机分布式训练环境下的数据加载与采样。get_eval_ds_config 函数提供简洁的验证集配置,专注于模型推理。原创 2024-02-05 10:27:04 · 1941 阅读 · 0 评论 -
模型相关.pt和.bin文件在PyTorch中的用途以及存储和加载方式
文件通常只保存模型的参数。在实际使用中,选择哪种格式取决于特定的需求和上下文。例如,如果需要将模型分享给其他人或部署到生产环境,文件通常是更好的选择。如果在模型开发过程中频繁更改模型结构,可能会选择。文件在PyTorch中的主要区别在于它们保存的内容和使用场景。文件可以保存完整的模型(结构和参数),而。文件来保存和加载参数。原创 2024-02-01 11:28:51 · 4247 阅读 · 0 评论 -
torchScript模型 和 torch 通过模型代码创建模型区别,torchScript模型转化方法和加载方法
TorchScript是PyTorch的一个子集,可以通过两种方式创建:跟踪(tracing)和脚本(scripting)。TorchScript提供了一种将PyTorch模型序列化的方法,允许它们在不依赖Python解释器的环境中运行,例如在C++程序中。TorchScript模型可以在Torch JIT(Just-In-Time)编译器中运行,这有助于优化模型的执行速度和内存使用。原创 2024-01-31 20:18:36 · 1275 阅读 · 0 评论 -
pytorch模型里 safetensors 文件、bin文件和pth文件区别、加载和保存方式
在实际操作中,应确保保存和加载时使用相同的文件格式,以避免兼容性问题。此外,当涉及到跨平台或者长期存储时,使用safetensors格式可能更为安全可靠。作为文件扩展名是PyTorch社区中的一个约定俗成的做法。,重要的是保存的内容和加载时的兼容性。在PyTorch中,不论是保存为。原创 2024-01-30 10:21:35 · 10755 阅读 · 0 评论 -
复现qlora 微调bloom7b时的环境配置,出现CUDA Setup failed despite GPU being available.
其中,bitsandbytes 安装0.39.0 出现:CUDA Setup failed despite GPU being available. Please run the following command to get more information。其他库的版本参考上面列表,其中安装accelerate 后需要卸载一个pip uninstall nvidia_cublas_cu11。原创 2023-07-06 10:52:54 · 2890 阅读 · 0 评论 -
融合词典特征的ner模型:LEBERT 复现与优化
1、github:GitHub - yangjianxin1/LEBERT-NER-Chinese: 基于词汇信息融合的中文NER模型基于词汇信息融合的中文NER模型. Contribute to yangjianxin1/LEBERT-NER-Chinese development by creating an account on GitHub.https://github.com/yangjianxin1/LEBERT-NER-Chinese2、论文:https://arxiv.org/abs/210原创 2022-06-16 21:00:09 · 1927 阅读 · 2 评论 -
Docker 复现 MaskTextSpotterV3 的过程以及问题解决
首先感谢大佬们的开源~GitHub - MhLiao/MaskTextSpotterV3: The code of "Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting"Docker 复现 MaskTextSpotterV3 的过程以及问题解决:主要还是follow大佬的步骤,这里使用docker复现。1、首先是选择docker环境,之前选择pytorch1.4版本,发现安装i原创 2021-11-29 10:50:29 · 822 阅读 · 3 评论 -
python 手动实现transformer中的绝对位置编码
PE(pos,2i) = sin(pos/10000^(2i/d_model))PE(pos,2i) = cos(pos/10000^(2i/d_model))实现主要是使用numpy的分片方法,提高效率。import numpy as npdef getPosEncodingMatrix(max_len,d_emb): pos_enc = np.array([[pos/np.power(10000,2*(j//2)/d_emb) for j in range(d_emb)] if原创 2021-11-25 09:36:57 · 1720 阅读 · 4 评论 -
LTP4.0 docker 安装使用说明;ltp工具包使用说明
ltp4.0 6月份放出来了,一个模型进行多任务学习,立马测试了一下效果,确实不错。1、首先下载docker,使用pytorch1.4版本,python版本3.7https://hub.docker.com/r/pytorch/pytorch/tagsdocker pull pytorch/pytorch:1.4-cuda10.1-cudnn7-devel2、docker run 一个容器nvidia-docker run -p 8889:8888 --name torch_py..原创 2020-07-21 15:11:36 · 2806 阅读 · 7 评论 -
pytorch 使用bert的中间某几层隐藏层的结果以及使用pytorch_pretrained_bert 的问题以及解决方法
首先使用from pytorch_pretrained_bert import BertTokenizer, BertModelmodel = BertModel.from_pretrained(--bert_model)的时候1、在一个程序中,多次进行all_hidden_states,encoded_main=model(input_ids=main_x,attention_mask=main_mask),多次加载GPU,原来的也不释放。2.后改用fromtran...原创 2020-12-25 17:40:51 · 5324 阅读 · 1 评论