![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
run
1015号居民
这个作者很懒,什么都没留下…
展开
-
模型优化|小tricks
深度学习 优化技巧—label smoothing 标签平滑 理解实例原创 2021-07-27 16:26:01 · 253 阅读 · 0 评论 -
P-tuning|自动构建模板
转载https://www.sohu.com/a/460275238_500659为什么 P-tuning 会更好?比如全量数据下,大家都是放开所有权重,P-tuning 的方法依然比直接 finetune 要好,为啥呢?事实上,提出这个问题的读者,应该是对 BERT 加个全连接层的直接 finetune 做法“习以为常”了。很明显,不管是 PET 还是 P-tuning,它们其实都更接近预训练任务,而加个全连接层的做法,其实还没那么接近预训练任务,所以 某种程度上来说,P-tuning 有效更加“显然转载 2021-07-22 17:45:16 · 898 阅读 · 0 评论 -
环境报错ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9‘ not found (required by............
报错信息ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9’ not found (required by…)vi ~/.bash_profile在文件中添加如下代码(添加环境变量)LD_LIBRARY_PATH=/home/feng/anaconda3/lib:$LD_LIBRARY_PATH(将anaconda3库文件路径添加到系统的库文件路径中) export LD_LIBRARY_PATH$ source ~/.bas转载 2021-07-21 15:09:15 · 429 阅读 · 0 评论 -
二次预训练
Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks转载 2021-07-20 15:30:17 · 500 阅读 · 1 评论 -
模型优化之模型融合|集成学习
机器学习模型优化之模型融合.数据挖掘竞赛利器-Stacking和Blending方式.详解stacking过程.代码示例: kaggleSteps for Further Improvement【stacking】As a closing remark it must be noted that the steps taken above just show a very simple way of producing an ensemble stacker. You hear of ens原创 2021-07-19 18:45:02 · 1775 阅读 · 0 评论 -
如何找到容易错误的数据
原创 2021-07-19 14:57:40 · 49 阅读 · 0 评论 -
损失loss
Focal Loss原创 2021-07-19 10:05:00 · 50 阅读 · 0 评论 -
模型训练过程中的一些问题
PyTorch中在反向传播前为什么要手动将梯度清零原创 2021-07-16 14:56:03 · 343 阅读 · 0 评论