- 博客(7)
- 收藏
- 关注
RSS订阅原创 （一）Transformer之Add&Norm
self.ones_tensor = nn.Parameter(torch.ones(x_size)) # 按照特征向量大小返回一个全1的张量，并且转换成可训练的parameter类型。self.ones_tensor = nn.Parameter(torch.ones(x_size)) # 按照特征向量大小返回一个全1的张量，并且转换成可训练的parameter类型。sublayer(x):上一层的输出,即Self-Attention层的输出(sublayer需要手动指定传递到底是哪一层的输出)
2024-08-08 20:16:53
808
原创 InstructGPT论文精读（李沐大神讲解版—RLHF理论思想）
三件事情数据把prompt和答案都标注出来，用最正常的GPT的微调，有监督的调出一个模型SFT出来训练一个奖励模型RM，为了使用RL的这种框架干事情，该奖励模型拟合了人对模型多个输出之间的一个排序RM放入强化学习框架中，以便代替人类进一步调整这个模型SFT得到最终模型。
2024-08-01 07:01:56
1485
原创 TextCNN处理多标签文本分类任务
设置一个列表，对应标签位置的值置为1，其他位置的值置为0TextCNN最后一层需要加上一个sigmoid层，把值锁定在0-1之间损失函数采用二元交叉熵损失函数一般采用macro平均这一衡量指标然后就是数据处理的时候需要变化，最主要的就是标签形式有所改变已经不是一个单一的标量了。
2024-07-31 21:31:56
183
1
原创 （自用）代码研读：TextCNN模型代码分析之run.py
2.处理后送入build_dataset构建，再经过迭代DatasetIterater处理得到批次数据，送入train中将每一个批次索引转化为词向量形式训练。送入train之前需要先构建词汇表以及对应的词向量嵌入矩阵，以便前向传播的时候将索引转化为向量处理！需要注意的是：数据的流动以及形式转换的整个过程。1.数据集：分为数据和标签。
2024-07-27 22:23:18
200
原创 （自用）代码研读：TextCNN模型代码分析之train_eval.py
训练代码（将训练以及测试过程记录在tensorboardX）train调用evaluate以及test。test调用evaluate。
2024-07-27 19:57:16
168
原创 （自用）代码研读：TextCNN模型代码分析之utils.py
原始数据：先提取每一行制表符前的部分进行分词处理构建词汇表，后续将每一行数据数据变为（单词索引列表；([1, 2, 3, 4], 0, 4), # 示例数据：(单词索引列表, 标签, 序列长度)代码代表了数据的预处理过程，词汇表的构建以及对应词向量矩阵构建。数据集：每一行是一条数据，每行以制表符分开数据和标签。最终进行词向量矩阵的构建。然后进行批次的处理设计。
2024-07-27 17:30:47
224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人