自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

BmwGaara的博客

  • 博客(2)
  • 收藏
  • 关注
全部文章> 2021年04月
排序：
按最后发布时间
按访问量
RSS订阅
04月 01月

原创 关于bert中softmax前除以维度d的理解

这几乎是bert中的一个必考点，网上有很多大神讲的已经非常细致了，那我从另一个角度分享下自己的理解。小王出品：必接地气。首先我们看下原论文的解释：We suspect that for large values of dk,the dot products grow large in magnitude,pushing the softmax function into regions where it has extremely small gradients.To counteract th...

2021-04-23 11:10:45 1168 1

原创 神经网络权重初始化为0？

好多的解释都比较深奥。。。我来个比较浅显的吧。。。希望没说错。

2021-04-13 11:02:22 809 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除