![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
JL_Jessie
这个作者很懒,什么都没留下…
展开
-
FocalLoss 带mask的多分类 代码实现
关于介绍FocalLoss的博客很多,这里做一个简单的总结,并且实现了一个多分类的数据不均衡的FocalLoss。FocalLoss用来解决的问题FocalLoss这个损失函数是在目标检测领域(由Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár提出) 针对one-stage的目标检测框架(例如SSD, YOLO)中正(前景)负(背景)样本极度不平均,负样本loss值主导整个梯度下降, 正样本占比小, 导致模型只专注学习负原创 2020-08-06 11:45:46 · 2521 阅读 · 1 评论 -
NLP-5:XLNET
可以参考:xlnet原创 2020-02-22 22:14:33 · 1620 阅读 · 0 评论 -
NLP-4:ALBERT
目录回顾BERT1. 降低模型参数2. 改进NSP任务为SOP3. 去掉dropout4. 增加训练数据总结最近在家听贪心学院的NLP直播课。放到博客上作为NLP 课程的简单的梳理。简介:虽然BERT模型本身是很有效的,但这种有效性依赖于大量的模型参数,所以训练一套BERT模型所需要的时间和资源成本是非常大的,甚至这样复杂的模型也会影响最终效果。在本次讲座里,我们重点来介绍一种瘦身版的重磅BE...原创 2020-02-20 21:20:49 · 556 阅读 · 0 评论 -
NLP-3:从Transformer 到 BERT
目录1. Review ELMo and Transformer2. Bert2.1 Bert Structure2.2 Training Tips2.3 Applications3. Anti-Bert4. Recap最近在家听贪心学院的NLP直播课。放到博客上作为NLP 课程的简单的梳理。简介:在18年年底的时候,有一件事情轰动了整个NLP界,它就是大家所熟悉的BERT模型,它刷新了整个文...原创 2020-02-19 21:45:40 · 1013 阅读 · 0 评论 -
NLP-2:Attention && Transformer
目录1. Seq2seq2. Transformer3. Self-Attention 机制详解4. Positional Encoding5. Layer Normalization6. Transformer Encoder 与 Decoder7. 总结Others最近在家听贪心学院的NLP直播课。都是比较基础的内容。放到博客上作为NLP 课程的简单的梳理。简介: ELMo等基于深度学习的...原创 2020-02-17 22:46:42 · 1619 阅读 · 0 评论