![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
预训练模型
文章平均质量分 83
深入讲解预训练模型的代码和原理,从而帮助新手更好的理解预训练模型。
herosunly
985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池安全恶意程序检测第一名,科大讯飞恶意软件分类挑战赛第三名,CCF恶意软件家族分类第四名,科大讯飞阿尔茨海默综合症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名,Datacon大数据安全分析比赛第五名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
展开
-
Masked Autoencoders Are Scalable Vision Learners 论文研读
1. 标题2. 摘要3. 模型架构4. 结论# 1. 标题Masked Autoencoders Are Scalable Vision Learners指的是带掩码的自编码器是可扩展的视觉学习器。其中这里的Autoencoders指的是模型的输入和输出都是相同的,简单来说Autoencoder=encoder+decoder。作者其中包括了ResNet的第一作者何恺明大神。原创 2021-12-11 17:08:28 · 4981 阅读 · 2 评论 -
TensorFlow版BERT源码详解之self-attention
self-attetion是BERT中的最为核心的内容之一,虽然TensorFlow版的BERT中的self-attention的原理和论文中是一致的,但是实现代码却有所出入。为了帮助新手快速理解这部分内容,所以通过该篇博客逐行解释具体代码。文章目录1. 函数参数2. 维度变换过程2.1 单个注意力头2.2 多个注意力头3. 代码解析1. 函数参数def attention_layer(from_tensor, to_tensor,原创 2021-09-05 11:22:49 · 12437 阅读 · 15 评论