- 博客(7)
- 收藏
- 关注
原创 (一)Transformer之Add&Norm
self.ones_tensor = nn.Parameter(torch.ones(x_size)) # 按照特征向量大小返回一个全1的张量,并且转换成可训练的parameter类型。self.ones_tensor = nn.Parameter(torch.ones(x_size)) # 按照特征向量大小返回一个全1的张量,并且转换成可训练的parameter类型。sublayer(x):上一层的输出,即Self-Attention层的输出(sublayer需要手动指定传递到底是哪一层的输出)
2024-08-08 20:16:53
808
原创 InstructGPT论文精读(李沐大神讲解版—RLHF理论思想)
三件事情数据把prompt和答案都标注出来,用最正常的GPT的微调,有监督的调出一个模型SFT出来训练一个奖励模型RM,为了使用RL的这种框架干事情,该奖励模型拟合了人对模型多个输出之间的一个排序RM放入强化学习框架中,以便代替人类进一步调整这个模型SFT得到最终模型。
2024-08-01 07:01:56
1485
原创 TextCNN处理多标签文本分类任务
设置一个列表,对应标签位置的值置为1,其他位置的值置为0TextCNN最后一层需要加上一个sigmoid层,把值锁定在0-1之间损失函数采用二元交叉熵损失函数一般采用macro平均这一衡量指标然后就是数据处理的时候需要变化,最主要的就是标签形式有所改变已经不是一个单一的标量了。
2024-07-31 21:31:56
183
1
原创 (自用)代码研读:TextCNN模型代码分析之run.py
2.处理后送入build_dataset构建,再经过迭代DatasetIterater处理得到批次数据,送入train中将每一个批次索引转化为词向量形式训练。送入train之前需要先构建词汇表以及对应的词向量嵌入矩阵,以便前向传播的时候将索引转化为向量处理!需要注意的是:数据的流动以及形式转换的整个过程。1.数据集:分为数据和标签。
2024-07-27 22:23:18
200
原创 (自用)代码研读:TextCNN模型代码分析之train_eval.py
训练代码(将训练以及测试过程记录在tensorboardX)train调用evaluate以及test。test调用evaluate。
2024-07-27 19:57:16
168
原创 (自用)代码研读:TextCNN模型代码分析之utils.py
原始数据:先提取每一行制表符前的部分进行分词处理构建词汇表,后续将每一行数据数据变为(单词索引列表;([1, 2, 3, 4], 0, 4), # 示例数据:(单词索引列表, 标签, 序列长度)代码代表了数据的预处理过程,词汇表的构建以及对应词向量矩阵构建。数据集:每一行是一条数据,每行以制表符分开数据和标签。最终进行词向量矩阵的构建。然后进行批次的处理设计。
2024-07-27 17:30:47
224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人