雷雷——-CSDN博客

原创 bert 二分类 Transformers Trainer

将数据保存成csv（其它格式也可以）通过load_dataset函数进行加载。（3）缺点：需要花时间去更多了解方法和参数的使用。（2）优点：可以定制性的搭建每一步的方法，（4）适用于：针对数据集和任务比较复杂的情况。（4）适用于：针对简单的项目可以更快的开发。（1）个人理解：需要自己手动去搭建训练方法等功能函数。（1）个人理解：封装的更好，更多调用方法训练。（2）优点：开发快，对于训练省事。2、用训练标记器进行处理数据（模型需要的格式）

2024-05-16 20:08:04 354 1

原创基于LSTM进行简单二分类

self.rnn = nn.GRU（input_size = embedding维度,hidden_size=RNN维度。self.embedding = nn.Embedding(词库大小, 词向量维度, padding_idx=0)x = {token1:id1} --------- 用于将文本token进行数值转换，传给模型。id_y = {id1:y1} --------- 用于将模型传出的结果转换中午标签。y_id = {y1:id1} --------- 用于将标签转换数值传给模型。

2024-05-15 19:38:44 577 1

原创 efficient_global_pointer

（添加参数return_offsets_mapping=True）多生成一个输出用来得到编码前后token的位置。2、（bert隐藏大小，类别数量*2）原版（位置编码层大小*2，类别数量*2）生成一个用零填充的张量维度（样本数，类别数，样本最长长度，样本最长长度）梯度裁剪可以确保梯度始终在一个合理的范围内，从而提高模型的稳定性和训练效果。创建gp模型，传入的参数有（bert模型，类别数量，位置编码层大小）在这里涉及到一个打破bert 521字符的限制方法，此模型采用的是苏神的层次分解位置编码。

2023-03-29 18:02:26 302