深度学习
文章平均质量分 52
Evan@DL&&java
java
展开
-
vision in transformer代码(attention的可视化)
github地址:https://github.com/lucidrains/vit-pytorch这地方可以进行attention的可视化,在做不同方面的人体部分的特征整合时可以可视化看看对于不同子动作的attention值进行可视化。原创 2021-05-03 16:49:46 · 3106 阅读 · 0 评论 -
关于反向传播算法中的残差推导理解
关于残差的理解;在返乡传播中需要求得dW,db,dW=dL/dW=(dL/dz)*(dz/dw)在这里dL/dz就是所谓的残差,最终残差的推导公式有:所以dW=dL/dW=(dL/dz)∗(dz/dw)=(残差)∗(dz/dw)=(残差)∗a[l]dW=dL/dW=(dL/dz)*(dz/dw)=(残差)*(dz/dw)=(残差)*a^{[l]}dW=dL/dW=(dL/dz)∗(dz/dw)=(残差)∗(dz/dw)=(残差)∗a[l]db=dL/db=(dL/dz)∗(dz/db)=原创 2020-12-01 18:08:20 · 1806 阅读 · 0 评论