MTCNN（九）更改python与c代码的PReLU为ReLU

最新推荐文章于 2024-07-27 15:26:03 发布
最新推荐文章于 2024-07-27 15:26:03 发布
阅读量1.3k 收藏 4
点赞数 2
分类专栏： 机器学习 目标检测 MTCNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36474809/article/details/84578946
版权
机器学习 同时被 3 个专栏收录
133 篇文章 54 订阅
订阅专栏
目标检测
32 篇文章 6 订阅
订阅专栏
MTCNN
20 篇文章 7 订阅
订阅专栏

背景：MTCNN的prelu需要训练，并且prelu需要有参数。prelu改为relu之后，相应的参数量会降低并且实现也更简单。

目的：更改MTCNN的prelu为ReLU,并在python端训练出相应的代码，c端结构改为与python端一致。

参考相关：

MTCNN（三）基于python代码的网络结构更改 https://blog.csdn.net/weixin_36474809/article/details/82856171

 MTCNN（一）训练与运行  https://blog.csdn.net/weixin_36474809/article/details/82752199

目录

一、python端结构的更改与参数训练

1.1 更改的位置

1.2 实验结果

1.3 重新训练与测试

Pnet

Rnet

Onet

二、采用网络结构表

Pnet

Rnet

Onet

三、c代码端结构的更改

3.1 函数的定义

3.2 网络的更改

一、python端结构的更改与参数训练

1.1 更改的位置

更改前的prelu

@layer
    def prelu(self, inp, name):
        with tf.variable_scope(name):
            i = int(inp.get_shape()[-1])
            alpha = self.make_var('alpha', shape=(i,))
            return tf.nn.relu(inp) + tf.multiply(alpha, -tf.nn.relu(-inp))

加上relu

 @layer
    def relu(self, inp, name):
        return tf.nn.relu(inp, name=name)

然后把pnet/rnet/onet中的prelu函数全部改为relu函数。

这里批评一下Notepad++之中的空格总是与python需要的空格不一致。每次编辑好之后还要用spyder再进行一次空格，免得报错。IndentationError: unexpected unindent

网络结构定义之中的更改：prelu改为了relu，（层的名字方便起见暂时没有更改）

class PNet(NetWork):

    def setup(self, task='data', reuse=False):

        with tf.variable_scope('pnet', reuse=reuse):
            (
                self.feed(task) .conv(
                    3,
                    3,
                    10,
                    1,
                    1,
                    padding='VALID',
                    relu=False,
                    name='conv1') .relu(
                    name='ReLU1') .conv(
                    3,
                    3,
                    16,
                    2,
                    2,
                    padding='SAME',
                    relu=False,
                    name='pool1_conv1') .relu(
                    name='pool1_ReLU1') .conv(
                    3,
                    3,
                    32,
                    1,
                    1,
                    padding='VALID',
                    relu=False,
                    name='conv2') .relu(
                    name='ReLU2') .conv(
                    3,
                    3,
                    32,
                    1,
                    1,
                    task=task,
                    padding='VALID',
                    relu=False,
                    name='conv3',
                    wd=self.weight_decay_coeff) .relu(
                    name='ReLU3'))

        if self.mode == 'train':
            if task == 'cls':
                (self.feed('ReLU3')
                     .conv(1, 1, 2, 1, 1, task=task, relu=False,
                           name='pnet/conv4-1', wd=self.weight_decay_coeff))
            elif task == 'bbx':
                (self.feed('ReLU3')
                     .conv(1, 1, 4, 1, 1, task=task, relu=False,
                           name='pnet/conv4-2', wd=self.weight_decay_coeff))
            elif task == 'pts':
                (self.feed('ReLU3')
                     .conv(1, 1, 10, 1, 1, task=task, relu=False,
                           name='pnet/conv4-3', wd=self.weight_decay_coeff))
            self.out_put.append(self.get_output())
        else:
            (self.feed('ReLU3')
                 .conv(1, 1, 2, 1, 1, relu=False, name='pnet/conv4-1')
                 .softmax(name='softmax'))
            self.out_put.append(self.get_output())
            (self.feed('ReLU3')
                 .conv(1, 1, 4, 1, 1, relu=False, name='pnet/conv4-2'))
            self.out_put.append(self.get_output())

1.2 实验结果

初步结果：

后续检验过的结果：mAP  57.85%

1.3 重新训练与测试

Pnet

把其中的prelu改为relu，然后训练。

all trainable variables:
<tf.Variable 'pnet/conv1/weights:0' shape=(3, 3, 3, 10) dtype=float32_ref>
<tf.Variable 'pnet/conv1/biases:0' shape=(10,) dtype=float32_ref>
<tf.Variable 'pnet/pool1_conv1/weights:0' shape=(3, 3, 10, 16) dtype=float32_ref>
<tf.Variable 'pnet/pool1_conv1/biases:0' shape=(16,) dtype=float32_ref>
<tf.Variable 'pnet/conv2/weights:0' shape=(3, 3, 16, 32) dtype=float32_ref>
<tf.Variable 'pnet/conv2/biases:0' shape=(32,) dtype=float32_ref>
<tf.Variable 'pnet/conv3/weights:0' shape=(3, 3, 32, 32) dtype=float32_ref>
<tf.Variable 'pnet/conv3/biases:0' shape=(32,) dtype=float32_ref>
<tf.Variable 'pnet/conv4-1/weights:0' shape=(1, 1, 32, 2) dtype=float32_ref>
<tf.Variable 'pnet/conv4-1/biases:0' shape=(2,) dtype=float32_ref>
<tf.Variable 'pnet/conv4-2/weights:0' shape=(1, 1, 32, 4) dtype=float32_ref>
<tf.Variable 'pnet/conv4-2/biases:0' shape=(4,) dtype=float32_ref>
<tf.Variable 'pnet/conv4-3/weights:0' shape=(1, 1, 32, 10) dtype=float32_ref>
<tf.Variable 'pnet/conv4-3/biases:0' shape=(10,) dtype=float32_ref>
all local variable:
input/input_producer/limit_epochs/epochs:0
input_1/input_producer/limit_epochs/epochs:0

只有卷积核与bias需要训练，没有了prelu的斜率。

Rnet

all trainable variables:
<tf.Variable 'rnet/conv1/weights:0' shape=(3, 3, 3, 28) dtype=float32_ref>
<tf.Variable 'rnet/conv1/biases:0' shape=(28,) dtype=float32_ref>
<tf.Variable 'rnet/pool1_conv1/weights:0' shape=(3, 3, 28, 28) dtype=float32_ref>
<tf.Variable 'rnet/pool1_conv1/biases:0' shape=(28,) dtype=float32_ref>
<tf.Variable 'rnet/conv2/weights:0' shape=(3, 3, 28, 48) dtype=float32_ref>
<tf.Variable 'rnet/conv2/biases:0' shape=(48,) dtype=float32_ref>
<tf.Variable 'rnet/pool2_conv3/weights:0' shape=(3, 3, 48, 48) dtype=float32_ref>
<tf.Variable 'rnet/pool2_conv3/biases:0' shape=(48,) dtype=float32_ref>
<tf.Variable 'rnet/conv3/weights:0' shape=(3, 3, 48, 64) dtype=float32_ref>
<tf.Variable 'rnet/conv3/biases:0' shape=(64,) dtype=float32_ref>
<tf.Variable 'rnet/conv4/weights:0' shape=(576, 128) dtype=float32_ref>
<tf.Variable 'rnet/conv4/biases:0' shape=(128,) dtype=float32_ref>
<tf.Variable 'rnet/conv5-1/weights:0' shape=(128, 2) dtype=float32_ref>
<tf.Variable 'rnet/conv5-1/biases:0' shape=(2,) dtype=float32_ref>
<tf.Variable 'rnet/conv5-2/weights:0' shape=(128, 4) dtype=float32_ref>
<tf.Variable 'rnet/conv5-2/biases:0' shape=(4,) dtype=float32_ref>
<tf.Variable 'rnet/conv5-3/weights:0' shape=(128, 10) dtype=float32_ref>
<tf.Variable 'rnet/conv5-3/biases:0' shape=(10,) dtype=float32_ref>
all local variable:
input/input_producer/limit_epochs/epochs:0

Onet

all trainable variables:
<tf.Variable 'onet/conv1/weights:0' shape=(3, 3, 3, 32) dtype=float32_ref>
<tf.Variable 'onet/conv1/biases:0' shape=(32,) dtype=float32_ref>
<tf.Variable 'onet/conv2/weights:0' shape=(3, 3, 32, 32) dtype=float32_ref>
<tf.Variable 'onet/conv2/biases:0' shape=(32,) dtype=float32_ref>
<tf.Variable 'onet/conv3/weights:0' shape=(3, 3, 32, 64) dtype=float32_ref>
<tf.Variable 'onet/conv3/biases:0' shape=(64,) dtype=float32_ref>
<tf.Variable 'onet/conv4_/weights:0' shape=(3, 3, 64, 64) dtype=float32_ref>
<tf.Variable 'onet/conv4_/biases:0' shape=(64,) dtype=float32_ref>
<tf.Variable 'onet/conv5_/weights:0' shape=(3, 3, 64, 128) dtype=float32_ref>
<tf.Variable 'onet/conv5_/biases:0' shape=(128,) dtype=float32_ref>
<tf.Variable 'onet/conv6_/weights:0' shape=(3, 3, 128, 128) dtype=float32_ref>
<tf.Variable 'onet/conv6_/biases:0' shape=(128,) dtype=float32_ref>
<tf.Variable 'onet/conv5/weights:0' shape=(1152, 256) dtype=float32_ref>
<tf.Variable 'onet/conv5/biases:0' shape=(256,) dtype=float32_ref>
<tf.Variable 'onet/conv6-1/weights:0' shape=(256, 2) dtype=float32_ref>
<tf.Variable 'onet/conv6-1/biases:0' shape=(2,) dtype=float32_ref>
<tf.Variable 'onet/conv6-2/weights:0' shape=(256, 4) dtype=float32_ref>
<tf.Variable 'onet/conv6-2/biases:0' shape=(4,) dtype=float32_ref>
<tf.Variable 'onet/conv6-3/weights:0' shape=(256, 10) dtype=float32_ref>
<tf.Variable 'onet/conv6-3/biases:0' shape=(10,) dtype=float32_ref>
all local variable:
input/input_producer/limit_epochs/epochs:0

二、采用网络结构表

Pnet

Feature size

name

Kernel size

Stride

Padding

12*12*3

conv1

ReLU1

3*3*10

1

Valid

10*10*10

pool1_conv1

pool1_ReLU1

3*3*16

2

Same

5*5*16

conv2

ReLU2

3*3*32

1

Valid

3*3*32

conv3

ReLU3

3*3*32

1

Valid

1*1*32

 

 

 

 

Rnet

Feature size

name

Kernel size

Stride

Padding

24*24*3

conv1

relu1

3*3*28

1

Same

24*24*28

pool1_conv1

pool1_relu1

3*3*282Same
12*12*28

conv2

relu2

3*3*481Same
12*12*48

pool2_conv3

poo2_relu3

3*3*482Same
6*6*48

conv3

relu3

3*3*642Same
3*3*64 

 

 

 

Onet

Feature size

name

Kernel size

Stride

Padding

48*48*3

conv1

relu1

3*3*32

1

Same

48*48*32

conv2

relu2

3*3*32

2

Same

24*24*32

conv3

relu3

3*3*64

1

Same

24*24*64

conv4_

relu4_

3*3*64

2

Same

12*12*64

conv5_

relu5_

3*3*128

2

Same

6*6*128

conv6_

relu6_

3*3*128

2

Same

3*3*128    

三、c代码端结构的更改

3.1 函数的定义

在network.cpp之中

void relu(struct pBox *pbox, mydataFmt *pbias){
    if (pbox->pdata == NULL){
        cout << "the  Relu feature is NULL!!" << endl;
        return;
    }
    if (pbias == NULL){
        cout << "the  Relu bias is NULL!!" << endl;
        return;
    }
    mydataFmt *op = pbox->pdata;
    mydataFmt *pb = pbias;

    long dis = pbox->width*pbox->height;
    for(int channel =0;channel<pbox->channel; channel++){
        for(int col=0; col<dis; col++){
            *op += *pb;
            if(*op<0)*op=0;
            op++;
        }
        pb++;
    }
}
void prelu(struct pBox *pbox, mydataFmt *pbias, mydataFmt *prelu_gmma){
    if (pbox->pdata == NULL){
        cout << "the  Relu feature is NULL!!" << endl;
        return;
    }
    if (pbias == NULL){
        cout << "the  Relu bias is NULL!!" << endl;
        return;
    }
    mydataFmt *op = pbox->pdata;
    mydataFmt *pb = pbias;
    mydataFmt *pg = prelu_gmma;

    long dis = pbox->width*pbox->height;
    for(int channel =0;channel<pbox->channel; channel++){
        for(int col=0; col<dis; col++){
            *op = *op + *pb;
            *op = (*op>0)?(*op):((*op)*(*pg));
            op++;
        }
        pb++;
        pg++;
    }
}

3.2 网络的更改

因为relu直接将值进行了替换，所以不存在开辟内存空间的问题，只有运算，并且维度一样，可以直接将prelu函数换位relu函数。

祥瑞Coding
关注
专栏目录
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1373
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
深入理解ReLU、Leaky ReLU、 PReLU、ELU、Softplus
雷恩Layne
08-05 1万+
ReLU ReLU（Rectified Linear Unit，修正线性单元），也叫Rectifier 函数，它的定义如下： Relu可以实现单侧抑制（即把一部分神经元置0），能够稀疏模型， Sigmoid 型活tanh激活函数会导致一个非稀疏的神经网络，而Relu大约 50% 的神经元会处于激活状态，具有很好的稀疏性。 Relu函数右侧线性部分梯度始终为1，具有 宽兴奋边界的特性 （即兴奋程度可以非常高），不会发生神经网络的梯度消失问题， 能够加速梯度下降的收敛速度。而tanh和sigmoid在离0点
使用prelu
weixin_34273046的博客
02-28 1407
一个使用方式：http://blog.csdn.net/xg123321123/article/details/52610919 还有一种是像relu那样写，我就是采用的这种方式，直接把名字从relu改成了prelu
python不支持prelu_MTCNN（九）更改python与c代码的PReLU为ReLU
weixin_35756637的博客
01-12 183
背景：MTCNN的prelu需要训练，并且prelu需要有参数。prelu改为relu之后，相应的参数量会降低并且实现也更简单。目的：更改MTCNN的prelu为ReLU,并在python端训练出相应的代码，c端结构改为与python端一致。参考相关：MTCNN(三)基于python代码的网络结构更改 https://blog.csdn.net/weixin_36474809/article/de...
经典CNN模型（九）：MobileNetV3（PyTorch详细注释版）
最新发布
qq_51872445的博客
07-27 1490
为了进一步减少延迟时间，MobileNetV3 优化了模型的最后阶段，通过减少不必要的操作，例如减少卷积层的数量，这在保持模型精度的同时显著降低了计算量和运行时间。
pytorch推理时将prelu转成relu实现
The space of Shining
12-16 1803
很多时候，我们的推理框架如，tensorrt，支持relu实现，但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT，其中说道: Considering TensorRT don't support PRelu layer, which is widely used in MTCNN, one so...
pytorch模型参数迁移(三种方法)(1)，2024年最新程序员如何解决中年危机
2301_77033340的博客
04-18 538
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?11、什么叫网站灰度发布?
小技巧（10）：使用Python绘制激活函数（Sigmoid、Tanh、ReLU、PReLU）图像
Hankerchen的博客
04-13 1万+
文章目录一、单张绘制1.1 代码1.2 绘制结果二、4张图绘制成1张图2.1 代码2.2 绘制结果 一、单张绘制 1.1 代码 import numpy as np import matplotlib.pyplot as plt # 0 设置字体 plt.rc('font',family='Times New Roman', size=15) # 1.1 定义sigmoid函数 def sigmoid(x): return 1. / (1 + np.exp(-x)) # 1.2 定义tanh函数
深度学习基础（十二）—— ReLU vs PReLU
qq_43679627的博客
02-25 2798
深度学习基础（十二）—— ReLU vs PReLU
ResNet模型，改进中间卷积部分，并用PReLU代替ReLU激活函数的代码
04-24
非常抱歉，我目前没有能力编写代码。但是，根据我所学习的知识，ResNet模型改进中间卷积部分可以采用...这个代码实现了使用PReLU代替ReLU激活函数的残差块。您可以在ResNet模型中使用这个残差块来改进中间卷积层部分。
CReLU与PReLU的大体简介
K键盘里的青春K
07-31 9397
本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. PReLU激活 PReLU的几点说明 关于CReLU 1. 背景介绍 PReLU激...
python激活函数
cuisidong1997的博客
11-10 108
具体来说，由于在后向传递过程中，sigmoid向下传导的梯度包含了一个 f′(x)f′(x) 因子（sigmoid关于输入的导数），因此一旦输入落入饱和区，f′(x)f′(x) 就会变得接近于0，导致了向底层传递的梯度也变得非常小。输出值的范围： 当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著;Sigmoid函数的导数是其本身的函数，即f′(x)=f(x)(1−f(x))f′(x)=f(x)(1−f(x))，计算非常方便，也非常节省计算时间。
【Tensorflow】tf.nn.relu函数
热门推荐
zj360202的专栏
04-20 2万+
tf.nn.relu(features, name=None)  = max(0, features) 参数： features：A `Tensor`. 必须类型: `float32`, `float64`, `int32`, `int64`, `uint8`, `int16`, `int8`, `uint16`, `half`. name：名称 返回：Tensor
TensorFlow学习笔记之 PReLU激活函数原理和代码
种树最好的时间是10年前，其次是现在！！！
05-26 1万+
专栏【超分辨率】 目录前言ReLU 激活函数ReLU 代码实现PReLU 激活函数 前言 在开始之前，简单说几句，为什么会想到 PReLU 激活函数？因为最近在复现一个论文时遇到了一个【超分辨率】的关键技术——关键亚像素卷积(Sub-Pixel)，详情请看我的另一个 blogblogblog ——【超分辨率】你真的懂什么是亚像素卷积(Sub-Pixel)嘛？？？闲言少叙，进入正题。 ReLU 激活...
MTCNN（二）c代码概要
祥瑞的技术博客
09-26 6063
目的：读懂MTCNN的c程序相关代码。（此篇无用） 参考：代码地址https://github.com/dlunion/mtcnn 此代码仅作参考，后续项目中运用的其他版本的MTCNN-light版的代码。https://github.com/AlphaQi/MTCNN-light 该代码与后续代码类似。 目录 整体描述 函数mtcnn::mtcnn() 函数 mtcnn::~mtc...
MTCNN实现的几点问题初探
ANONYMOUSLYCN的专栏
06-18 1318
MTCNN实现的几点问题初探MTCNN介绍技术细节实现中的问题： MTCNN介绍 MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，基于cascade框架。总体可分为PNet、RNet、和ONet三层网络结构， 构建图像金字塔 首先将图像进行不同尺度的变换，构建图像金字塔，以适应不同大小的人脸...
卷积神经网络学习路线（五）| 卷积神经网络参数设置，提高泛化能力？
I good vegetable a!
12-13 1823
前言 这是卷积神经网络学习路线的第五篇文章，主要为大家介绍一下卷积层的参数设置以及介绍我从业CV领域这一年半载在训练CNN主要用了哪些参数调整方法和网络结构调整策略，希望可以帮助到大家。 卷积层的参数设置 ...
caffemodel的读取和修改
zhe_csdn的博客
04-11 1607
1.http://www.cnblogs.com/denny402/p/5686257.html 2.http://blog.csdn.net/jiongjiongxia123/article/details/60965743 3.http://blog.csdn.net/burning_keyboard/article/details/71763291 4.http://nbviewer.jup...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

祥瑞Coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值