外卖猿
这个作者很懒,什么都没留下…
展开
-
聊一聊Normalization
聊一聊pytorch的BN module1.BN简介1.1 关于Internal Covariate Shift1.2 BN公式2.BN transform计算3.BN 各系数(μ、Var等)的计算及更新过程3.1 running_mean(μ值)的更新3.2 running_var(var值)的更新3.3 其他参数(γ、β)的更新4.来自大拿的实现参考文献BN1块在深度学习中可以说是经常用的一个工具,但是对其细节学深学透,还真的是需要钻研下。1.BN简介1.1 关于Internal Covariat原创 2021-05-18 17:55:50 · 835 阅读 · 2 评论 -
CBAM简介及pytorch实现
CBAM pytorch实现1.CBAM块简介1.1 Channel Attention Module(CAM)1.2 Spatial Attention Module(SAM)2.pytorch实现代码3.netron可视化参考文献1.CBAM块简介在YOLO-V4的接触过程中,注意到了CBAM1这个注意力机制模块。看了下CBAM官方pytorch实现,稍显繁琐,在此基础上略作改进。本人关于YOLO_V4 的介绍见YOLO_V4 入手贴。此块非常简洁,即一个channel attention块串原创 2021-05-14 10:48:15 · 5581 阅读 · 0 评论 -
wavenet及TCN
RNN/LSTM在时序相关任务中可以说是优选模型。那么CNN是否可以达到甚至超越这些模型在时序类任务中的效果呢?今天就简单介绍两个模型,它们主要通过模块—dilated causal conv的多层叠加,来增加感受野,达到捕获时序特征的能力。wavenet由 deepmind 出品,原论文首先将其应用在了 Text-to-Speech 任务。wavenet是一种全卷积的模型,包含了多个多层如下dilated的结构,随着dilated conv深度增加,来指数性地增大感受野,捕获序列之间较长的时间关系。...原创 2022-07-04 16:31:42 · 2491 阅读 · 0 评论 -
Deep Dive into Pytorch RNN/LSTM
RNN/LSTM1.1.RNN与mRNN2.LSTM与mLSTM参考文献1.1.RNN与mRNNmRNN(Multiplicative Recurrent Neural Network)原论文见参考1,其改进在于:introduce a new RNN variant that uses multiplicative (or “gated”) connections which allow the current input character to determine the transiti原创 2022-04-21 17:03:47 · 1205 阅读 · 0 评论 -
小目标检测学习
小目标检测 数据增强 1.基于copy_pasted策略的Data_Augmentation1.1 代码1.1.1 加载相关库及设置变量、参数1.1.2 图片及bbox的显示1.1.3 实现SmallObject_Augmentation核心部分1.1.4 用真实图片调用程序查看效果参考文献1.基于copy_pasted策略的Data_Augmentation此部分学习了Github Data_Augmentation_Zoo_for_Object_Detection的心得,相关paper见Augmen原创 2021-07-02 20:04:23 · 595 阅读 · 0 评论 -
半监督学习
在使用机器学习进行训练前,往往需要大量数据及其标签。而对数据进行标注需要花费人力,因此未标注的数据容易获得,同时这些数据中也隐含了对分类有用的信息。半监督学习(semi-supervised learning)可以结合已标注数据以及未标注的数据,以实现更准确的分类。本文结合sklearn实现,介绍Label Spreading的具体过程。Learning with Local and Global Consistency中提到,半监督学习满足两个一致性的先验假设,即:如果仅使用有标签的数据进行有监督学习,则原创 2022-06-21 19:32:55 · 1560 阅读 · 5 评论