- 博客(8)
- 收藏
- 关注
原创 bert 二分类 Transformers Trainer
将数据保存成csv(其它格式也可以)通过load_dataset函数进行加载。(3)缺点: 需要花时间去更多了解方法和参数的使用。(2)优点: 可以定制性的搭建每一步的方法,(4)适用于: 针对数据集和任务比较复杂的情况。(4)适用于: 针对简单的项目可以更快的开发。(1)个人理解:需要自己手动去搭建训练方法等功能函数。(1)个人理解: 封装的更好,更多调用方法训练。(2)优点: 开发快,对于训练省事。2、用训练标记器进行处理数据(模型需要的格式)
2024-05-16 20:08:04 409 1
原创 基于LSTM进行简单二分类
self.rnn = nn.GRU(input_size = embedding维度,hidden_size=RNN维度。self.embedding = nn.Embedding(词库大小, 词向量维度, padding_idx=0)x = {token1:id1} --------- 用于将文本token进行数值转换,传给模型。id_y = {id1:y1} --------- 用于将模型传出的结果转换中午标签。y_id = {y1:id1} --------- 用于将标签转换数值 传给模型。
2024-05-15 19:38:44 914 1
原创 efficient_global_pointer
(添加参数return_offsets_mapping=True)多生成一个输出用来得到编码前后token的位置。2、(bert隐藏大小,类别数量*2) 原版(位置编码层大小*2,类别数量*2)生成一个用零填充的张量 维度(样本数,类别数,样本最长长度,样本最长长度)梯度裁剪可以确保梯度始终在一个合理的范围内,从而提高模型的稳定性和训练效果。创建gp模型,传入的参数有 (bert模型,类别数量,位置编码层大小 )在这里涉及到一个打破bert 521字符的限制方法,此模型采用的是苏神的层次分解位置编码。
2023-03-29 18:02:26 327
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人