![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
JY HUA
这个作者很懒,什么都没留下…
展开
-
CCF 中国计算机学会推荐国际学术会议 (人工智能) 2022
为查看方便,存一份。原创 2022-12-09 14:55:22 · 1980 阅读 · 0 评论 -
NLP预训练模型分层学习率衰减
# ref: <How to Fine-Tune BERT for Text Classification? > # 分层学习率衰减 # 基础学习率 lr_base = 5e-6 lr_classifier = 5e-5 # 衰减系数 xi = 0.95 lr = dict() lr[23] = lr_base for k in range(23,0,-1): lr[k-1] = 0.95*lr[k] .原创 2021-08-24 15:39:50 · 701 阅读 · 0 评论 -
如何选择合适的learning rate?
1. 设置一个较大的learning_ratelearning_rate = 1e-32. 设置warmup原创 2021-06-03 17:19:02 · 3474 阅读 · 1 评论 -
T5模型在训练过程中实时计算验证集上准确度,自定义compute_metrics
T5模型不同于bert类模型,它是一个seq2seq模型,它在训练过程中预测结果实时返回的是字典长度的置信度,想要在训练过程中实时监测在验证集上的准确度,可以自己添加自定义compute_metrics函数。以下为采用transformers框架训练添加自定义compute_metrics函数的代码:def compute_metrics(pred): ## 1.处理 pred.predictions # 每个样本的预测结果为vocab大小 predict_res = to原创 2021-04-15 14:43:46 · 1577 阅读 · 2 评论 -
中国计算机学会推荐国际学术会议 (人工智能)
为查看方便,存一份。Reference:https://www.ccf.org.cn/Academic_Evaluation/By_category/原创 2021-03-17 16:10:27 · 320 阅读 · 0 评论