Batch Normalization的Darknet代码解析

已于 2024-03-15 22:48:45 修改
阅读量308 收藏 2
点赞数
分类专栏： 深度学习网络层 计算机视觉 深度学习知识点 文章标签： Batch_Norm BN的Darknet代码解析 BN正反向公式推导与问题分析
于 2021-05-19 09:46:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMilton/article/details/117014141
版权

Batch_Norm公式推导与Darknet代码理解

论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

URL：https://arxiv.org/pdf/1502.03167.pdf

1. Batch_Norm的正向推导

2. Batch_Norm反向推导

其中对均值与xi的求导会用到复合函数的求导计算：

3. darknet代码

3.1 batch_norm的正向传播代码

(1) 求均值

（2）求方差

(3) 归一化

(4) 前向传播

这里存在一个滑动均值与滑动方差的概念：

滑动平均可以用来估计变量的局部均值，使得表里的更新与一段时间内的历史取值有关。变量v在t时刻记为v_{t}，\Theta_{t}为变量v在t时刻的取值，即在不使用滑动平均模型时v_{t}=\Theta_{t}，在使用滑动平均模型后，v_{t}的更新公式如下：

其中beta一般取0.9，0.99，0.999等。函数scal_cpu计算的是\beta\cdot v_{t-1}，axpy_cpu计算的是v_{t}, l.mean表示\theta_{t},l.rolling_mean表示上一行计算的\beta\cdot v_{t-1}。

3.2 batch_norm的反向传播代码

根据第二部分反向传播公式，依次对应darknet中的代码。

(1) 对\gamma求导

（2）对方差\sigma_{B}^2求导

(3) 对均值\mu_{B}求导

这里存在的问题：为什么darknet中会丢弃第二项？很多博客求导推导的时候只有第一项，没有第二项，也没有解释原因。

原因：第二项存在\sum_{i=1}^m (x_{i} - \mu_{B})，这项的意义表示在一个样本空间中，每个样本减去该样本空间的均值，然后再求各个差值的和必然为0，所以darknet把第二项丢掉了。

(4) 对x_{i}求导

(5)  反向传播

MiltonY
关注
专栏目录
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
03-24
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
Batch Normalization
SteveYuan_one的专栏
02-21 666
一、算法 1.算法步骤 ​ 编辑 添加图片注释，不超过 140 字（可选） 2.参数解释 假设有如下特征Tensor=[B,C,W,H]=[4,3,2,2],也就是有4个batch，每个batch有3个特征图，也可以称为3个channel。 ​ 编辑切换为居中 添加图片注释，不超过 140 字（可选） 首先计算channel为0维度上的均值和方差，如下图中的黄色部分，得到 \mu_0 和 \sigma_0 ，然后对channel是0 维度的每个值都进行如下计算，最终经过BN..
【darknet源码解析-11】batchnorm_layer.h 和 batchnorm_layer.c解析
最新发布
生活需要深度
07-29 488
/ l.rolling_mean = 0.01 * l.mean + l.rolling_mean 这里的0.01实际上的计算方法是【1./batch_size】,这里假设batch_size = 100。// 求gamma的梯度, d(l.delta)/d(l.gamma) = xi,即l.delta * l.x_norm【归一化的结果】 【公式1-1】// l.x_norm = l.output 将归一化结果保存在l.x_norm中国,用于反向传播时候的梯度计算。// 保存每个通道均值的滚动平均。
Batch Normalization代码分解
10-08 530
batch normalization
darknet 源码阅读(网络层代码）——batch Normalize 层（BN）
jmu201521121021的博客
01-27 1424
简介 论文链接：https://arxiv.org/abs/1502.03167 yolov2中，根据论文所讲，通过在所有convolutional layer后添加batch normalization层，map提升2%.并且相对于yolov1，移除了droupout,BN提升了模型的泛化性，有效避免过拟合。 BN原理 简约公式： xi=xi−xˉ1N∑jN(xj−xˉ)2(1) x_i = ...
darknet代码配置说明.txt
01-03
### Darknet代码配置说明 #### 一、概述 Darknet是一种开源神经网络框架，主要用于实现深度学习中的图像识别任务，特别是在目标检测领域有着广泛的应用。本文档旨在对Darknet源码进行解读，重点分析其中几个关键层...
yolo v4 的代码-darknet-master-yolo-v4
04-24
6. **Batch Normalization层的调整**：YOLOv4对批标准化层进行了微调，如使用更精确的EMA（Exponential Moving Average）平均值，这有助于模型的稳定训练。 7. **Anchor机制**：YOLOv4沿用了YOLO系列的Anchor Box...
YOLO目标检测算法中的Darknet架构解析
# 1. YOLO目标检测算法概述 ## YOLO简介 YOLO（You Only Look Once）是一种基于深度学习的实时目标检测算法，由Joseph Redmon等人于2016年提出。相较于传统的目标检测方法，YOLO算法以其快速、准确和端到端的特点受...
Keras YOLO v3代码详解（一）：darknet53网络结构分析+Netron工具
热门推荐
weixin_41943311的博客
07-02 3万+
上周我们搭建了一套“Windows 10+YOLO v3+Deep_Sort多目标跟踪实验环境”，并做了一些简单的测试记录，具体内容请参考： https://blog.csdn.net/weixin_41943311/article/details/93747924 那么本周，我们需要详细了解一下YOLO v3的darknet53的网络是什么样的，或者说，是怎样在Keras+Tensorflo...
【目标检测-YOLO】YOLOv4（第一篇）
博观约取，厚积薄发
03-05 3004
YOLO v4 论文翻译
理解Batch Normalization（含实现代码）
01-06
作者&编辑：李中梁引言 上文提过不要在神经网络中使用dropout层，用BN层可以获得更好的模型。经典论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出了Batch Normalization 批标准化的概念， towardsdatascience上一文《Intuit and Implement: Batch Normalization》详细解释了BN的原理，并通过在Cifar 100上的实验证明了其有效性。全文编译如下。 神经网络在训练过程中的问题
tacogo:用 Go 编写的 F2F 暗网
06-01
塔科戈 用 Go 编写的 F2F 暗网
darknet_server:暗网服务器
05-03
概述 这是python脚本，是使用darknet yolo进行检测的服务器。 Darknet如下： 该服务器有两个API。 获取检测结果为json格式，包括图像（已解码base64）URI：'/ detect' 参数示例 { "image": base64.b64decode(imgdata).decode("utf-8"), "thesh": 0.5, "get_img_flg": True “ thresh”的参数是yolo的阈值。 这不是必需的，默认值为0.5。 如果脱粒小于默认值，则可以检测到更多物体，但误识别会增加。 get_img_flg的参数是布尔值。 如果为true，则返回嵌入yolo resuls的bbox的图像数据。 此参数是可选的，默认值是true。 软件要求 Python> 3.6 我只测试3.7.1 darknet版本：9a4b19c41
Batch Normalization （理论+代码）
qq_36620489的博客
12-18 814
Batch Normalization  学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50866313 作者：hjimce
batch normalization手写代码
木子雨巷的博客
03-09 833
批归一化（BN）层的代码实现，pytorch里面处理会更复杂 这里只是写了一个较为简单的模块 # -*- coding: utf-8 -*- # @Time : 2021/3/9 11:59 # @Author : Li Gang # @File : test4.py import numpy as np def batchnorm(X,params,mode): mode = mode D,N = params.shape running_mean = params
Batch Normalization、Layer Normalization代码实现
weixin_41558411的博客
01-15 975
BN(Batch Normalization)首次提出与论文，主要目的是为了解决训练深层神经网络慢的问题。我们可以神经网络整体可以看成一个高阶的复杂函数，通过训练优化它的参数，可以用于拟合各种复杂的数据分布。一般而言，一个网络会有多层，其中的每一层都可以看成一个子函数，用于拟合其各自的子分布。
batch normalization代码实现
weixin_42750737的博客
03-28 1089
BN实现 BN实现的两种 要学会知道BN的推倒公式 import tensorflow as tf from tensorflow.python.training import moving_averages class Model: def __init__(self, is_train, learning_rate...
【深度之眼】Pytorch框架班第五期-Batch Normalization代码调试
Zero_run的博客
09-10 241
Batch Normalization Batch Normalization: 批标准化 批：一批数据，通常为mini-batch 标准化：0均值，1方差 优点： 1、可以用更大的学习率，加速模型的收敛 2、可以不用精心设计权值初始化 3、可以不用dropout或者较小的dropout 4、可以不用L2或者较小的weight decay 5、可以不用LRN(local response normalization) 计算方式 代码 import torch import numpy as np im
YOLOv7的Darknet53是哪几行代码
05-14
x = tf.keras.layers.BatchNormalization()(x) x = tf.keras.layers.LeakyReLU(alpha=0.1)(x) return x def residual_block(x, num_filters): shortcut = x x = conv_bn_leaky(x, num_filters, 1) x = conv_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值