咖乐布小部-CSDN博客

原创利用GPT2LMHeadModel构建预训练模型

利用GPT2LMHeadModel构建预训练模型替代手工构建修改预训练模型。

2022-05-10 22:47:00 4818 1

前言：预训练模型已经火了这么久了，但作为菜本菜的我却还在用lstm。在生成任务上与同门学长用的预训练模型相比，效果差的比较明显。所以，我决定走上预训练的不归路。以下分享我的学习过程：了解模型：小说故事生成模型万事开头难，上视频：视频我喜欢看简短的从零实现GPT-2，瞎写笑傲江湖外传，金庸直呼内行_哔哩哔哩_bilibili这是一个非常简单的模型。他没有用huggingface的模型库，而是用pytorch自己搭建了一个模型。也没有用预训练的参数，而是从头开始训练。过程：1.

2022-05-10 17:08:10 5970 3

原创 dataloader中 sampler、collate_fn 和 dataset 的 getitem使用理解。

DataloaderDataLoader(dataset, sampler=None, collate_fn=None,batch_size=1, shuffle=False, num_workers=0,pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)这里先从dataset的运行机制讲起.在dataloader按照batch进行取数据的时候, 是取出大小等同于batch size的index列表; 然后将列表列表

2021-08-06 16:08:32 2591

原创 resnet152

152是指152次卷积其中block共有3+8+36+3 = 50个每个block是由3层卷积构成的bottle_net block.共150个卷积开头一个卷积将3通道的图片提取特征。后面一个nn.AdaptiveAvgPool2d((1,1)), 就是自适应平均池化，输出维度为1.因为本来上面的各层卷积后输出的还是一个二维矩阵。图中的64,128等都是通道数，也就是二维矩阵的个数。最后要通过自适应池化将卷积最后的矩阵转换称一个1维的数。然后才能用线性层进行维度映射。进行分类。..

2021-05-13 11:07:50 2694

原创 Transformer 中的mask

transformer中的mask有两种作用：其一：去除掉各种padding在训练过程中的影响。其二，将输入进行遮盖，避免decoder看到后面要预测的东西。1.Encoder中的mask 的作用属于第一种在encoder中，输入的是一batch的句子，为了进行batch训练，句子结尾进行了padding（P）。在输入encoder中训练的过程中，先进性多头自注意计算。在这个过程中 1）进行(q*K^T)/d_model^1/2. 2)然后要对得到的权重矩阵进行mask 3...

2021-02-18 09:43:54 14593 12

原创 python项目学习过程中的小知识点总结

小知识tensor.permute（）torch.matmul(mat1,mat2)copy()和deepcopy（）tensor.view( , -1):tensor.permute(dims) ：维度改变函数。改变tensor维度。比如 a是：tensor.size([3,4,6]) ，则a.permute(0,2,1)的size就是tensor.size([3,6,4]) 即交换了第1,2维度。https://zhuanlan.zhihu.com/p/765831...

2020-12-04 16:26:29 673

原创驱动云创建保存自己的环境

驱动云的环境是这样的，每次离开之后，他的环境就会变成你最初用的镜像，过程中你做的更改不会保留。但是下次用的时候或者想要提交离线任务的时候，就需要用你修改好的镜像。介绍了如何在驱动云上部署llama2以及驱动云在训练大模型的方便之处。也说到了可以直接使用驱动云现有的环境，免得自己配置环境。输出当前环境的requirements.txt，文件会默认保存在/gemini/code下。这里可以很容易的制作镜像，将自己需要的环境永久的保存下来。随后，同样点击保存当前环境，然后选择构建标准镜像。最后点击构建就可以了。

2024-04-18 23:41:35 846

原创无卡训练大模型LLM 云服务器

无卡训练大模型，快试试线上服务！

2024-04-18 12:59:40 811 1

原创解决：ValidationError: 2 validation errors for DocArrayDoc returned when try to execute the RAG Search

ValidationError: 2 validation errors for DocArrayDoc returned when try to execute the RAG Search Example - 菜本菜 - Medium

2023-12-21 15:02:38 629

原创已解决 debug: segmentation fault when importing datasets

debug: segmentation fault when importing datasets - 菜本菜 - Medium

2023-12-08 14:20:17 464

原创解决 The ‘more_itertools‘ package is required

2.后面同样要把filter_words.py文件拿到spider下，并修改wiki中的from filter_words import filter_url 为from .filter_words import filter_url。项目地址：https://github.com/wjn1996/scrapy_for_zh_wiki。博客：https://blog.51cto.com/u_15919249/5962100。3.在wiki.py繁简转换中加判断，避免输入为空。4. 在wiki.py中修改。

2023-07-27 14:16:04 1016

原创解决 The ‘more_itertools‘ package is required

后面同样要把filter_words.py文件拿到spider下，并修改wiki中的from filter_words import filter_url 为from .filter_words import filter_url。项目地址：https://github.com/wjn1996/scrapy_for_zh_wiki。博客：https://blog.51cto.com/u_15919249/5962100。:return: 将句子中繁体字转换为简体字之后的句子。在wiki.py中修改。

2023-07-27 14:12:07 755

原创 pytorch 训练过程中缓存不断增大 and loss.backword()占用缓存过大

total_loss += loss.cpu().detach().numpy()

2023-02-08 20:32:59 1073 1

原创 pytorch loss.backword() 时间太长

tensor_a = tensor_b.clone().detach()

2023-02-07 23:32:34 3101 2

原创成功解决：ModuleNotFoundError: No module named ‘amp_C‘

apex成功安装

2022-11-15 21:55:44 3464

原创 vscode对远程服务器的python项目debug

vscode远程debug

2022-11-01 23:40:33 295

原创 Large-scale-VRD.pytorch 环境配置

Large-scale-VRD.pytorch 环境配置

2022-07-11 11:39:27 298

转载 tf.variable_scope、tf.get_variable()

tf.variable_scope、tf.get_variable()

2022-07-11 11:29:18 360

原创 tf.contrib.training.HParams

报错：AttributeError: 'module' object has no attribute 'HParams'。

2022-07-08 10:28:19 2020

原创不能从上一级文件调用模块（no module named lib）

调用自定义模块出现ModuleNotFoundError: No module named ‘XXX‘的解决方案_swrdzwj的博客-CSDN博客不行的话可以考虑是不是pytest的问题pycharm中不以pytest方式运行，以普通方式运行的方法 - 宁小静 - 博客园

2022-06-09 10:49:12 203

转载 pip install d2l

from d2l import torch as d2l这个语句中torch报错的解决方法_别摆了，张同学的博客-CSDN博客_torch中的d2l

2022-05-25 10:55:57 1937

原创已解决：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

网上说是 json.load 和 json.loads 的问题。后来果然是，其实我根据Error提示的位置就应该看出来的！！！白浪费了大半天

2022-05-10 22:08:29 2528 1

原创 h5py文件操作

写# phrases_id_dir = "/home/ubuntu/D/lizhigang/MGISEG-lzg/data/preprocess_data/end_phrases_id.h5"# f_lb = h5py.File(phrases_id_dir, 'w')# f_lb.create_dataset('labels', dtype='uint32', data=Label)# f_lb.create_dataset('golds', dtype='uint32', data=Gold)

2022-02-28 19:34:19 466

原创 h5py合并文件

with h5py.File('table_copy.h5',mode='w') as h5fw: for h5name in glob.glob('file*.h5'): h5fr = h5py.File(h5name,'r') for obj in h5fr.keys(): h5fr.copy(obj, h5fw)

2021-11-25 16:45:21 1258 2

原创论文笔记notion模板

https://ash-icon-968.notion.site/a7baf2af8362493f9379a9c471d15bf6

2021-11-22 13:10:05 3744

原创 argparser action

import argparseparser = argparse.ArgumentParser()parser.add_argument('-a', action='store_true', help='Store a simple value')parser.add_argument('-b', action='store_false', help='Store a constant value')args = parser.parse_args()print(args)>>&gt

2021-11-01 16:38:58 268

原创 Backend TkAgg is interactive backend. Turning interactive mode on.

百度有人说是import osos.environ["TOKENIZERS_PARALLELISM"] = "false"但至少对于我来说，是不管用的查了原因，出在数据上要么是torch.cat()没有指定拼接维度要么是torch.tensor是float格式，需要int格式。等去查查数据就有没有错。...

2021-09-15 09:04:12 1217

原创 pytorch将小数tensor转换成整数tensor

a = [[1.,2.],[3.,4.]]b = torch.tensor(a)# c = torch.tensor(b,dtype=torch.int)c = b.clone().type(torch.int)print(b)print(c)

2021-09-14 22:27:31 5710

转载 Ubuntu 创建 Pycharm 桌面快捷方式

https://www.cnblogs.com/feiquan/p/11791796.html

2021-09-02 18:57:01 275

转载 Error creating directory: No space left on device2021-09-02

https://blog.csdn.net/c_base_jin/article/details/86316755

2021-09-02 15:49:36 663

原创 pytorch NotImplementedError

就是在pytorch搭建模型的时候定义forward时格式错了要么就是缩进问题，要么就是拼写问题，要么就是有没有多余字符如: _forward 前面的:小短线要去掉。torch.nn的官文继承： import torch.nn as nn import torch.nn.functional as F class Model(nn.Module): def __init__(self):

2021-08-07 16:01:54 493

原创 PyTorch使用多GPU训练

device_ids = [3, 4, 6, 7]model = Module()if torch.cuda.is_available(): module = torch.nn.DataParallel(model, device_ids=device_ids) # 声明所有可用设备 model = model.cuda(device=device_ids[0]) # 模型放在主设备images = images.cuda(device=device_ids[0]) # 训练数据

2021-07-31 16:41:10 130

原创前端学习流程

HTML----CSS3—javascript----jquery ----js高级（面向对象）及es6----框架学习----项目练手此外还有 ajax — node（glue） — vue — 小程序 — react基本都是做前后端交互的ajax：前后端交互node：vue：是一个用于构建用户界面的渐进式的JavaScript框架。......

2021-07-02 11:27:23 87

转载黑马视频-前端学习视频资料

2020年必看的WEB前端开发学习路线！在规划之前先给大家分享几点心得哈：1. 学习，特别是在线学习，是非常辛苦的事情，为了少走弯路，所以一定要系统学习，多借鉴与前辈们总结出来的经验。2. 不要相信任何说一周掌握 css，一周学完 js 等话术，哪些只是教你怎么用，不讲解基本原理，不系统学，最后忘得快，也不会举一反三，（除非你是复习）因此，学习任何知识，都要系统坚持。3. 在线学习，最忌讳的一点是只听不练。听老师讲，基本都能听得懂，但是如果不练习，忘的很快，后面知识点一综合，就

2021-07-02 10:24:59 5235

原创 python3 安装 torchtext

conda install -c derickl torchtext抄自：https://blog.csdn.net/qq_40210472/article/details/88046669

2021-06-17 21:29:34 300

原创 ERROR: After October 2020 you may experience errors when installing or updating packages.

ERROR: After October 2020 you may experience errors when installing or updating packages. This is because pip will change the way that it resolves dependency conflicts.We recommend you use --use-feature=2020-resolver to test your packages with the new re

2021-06-15 20:28:14 560

空空如也

空空如也