pytorch实现LBCNN：Local Binary Convolutional Neural Networks

最新推荐文章于 2023-12-25 18:43:26 发布
最新推荐文章于 2023-12-25 18:43:26 发布
阅读量3.1k 收藏 4
点赞数 3
分类专栏： pytorch深度学习 文章标签： 模型训练 pytorch local binary 卷积层 代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yyqq7226741/article/details/78308036
版权

本文用pytorch实现，是基于发表在CVPR 2017上的文章：Local Binary Convolutional Neural Networks

 

1.原文地址：https://arxiv.org/abs/1608.06049

torch版开源代码：https://github.com/juefeix/lbcnn.torch

 

2.详细介绍这篇文章内容的地址：

http://www.cnblogs.com/xiaohuahua108/p/7589145.html

 

3.本文用pytorch实现的开源代码地址：

https://github.com/eeric/pytorch-LBCNN

 

4.举例：

from LBCNN import LBCNN  #引用

self.conv1 = LBCNN(in_channels,out_channels,3,stride,1)  #LBCNN替换原模型中的卷积层

 

EericDL
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
pytorch-randaugment:非官方PyTorch重新实现RandAugment
05-23
pytorch-randaugment RandAugment的非官方PyTorch重新实现。 大部分代码来自 。 介绍 可以使用RandAugment对感兴趣的数据集训练模型，而无需单独的代理任务。 通过仅调整两个超参数（N，M），您可以实现具有竞争优势的AutoAugments性能。 安装 $ pip install git+https://github.com/ildoonet/pytorch-randaugment 用法 from torchvision . transforms import transforms from RandAugment import RandAugment transform_train = transforms . Compose ([ transforms . RandomCrop ( 32 , padding = 4 ), t
Local Binary Convolutional Neural Networks ---卷积深度网络移植到嵌入式设备上？
weixin_30466953的博客
09-24 604
前言：今天他给大家带来一篇发表在CVPR 2017上的文章。 原文：LBCNN 原文代码：https://github.com/juefeix/lbcnn.torch 本文主要内容：把局部二值与卷积神经网路结合，以削减参数，从而实现深度卷积神经网络端到端的训练，也就是未来嵌入式设备上跑卷积效果将会越来越好。 主要贡献： 提出一种局部二值卷积（LBC)可以用来替代传统的卷积神经网络的卷积层...
RILBCNN:旋转不变局部二进制卷积神经网络，ICCV研讨会，2017年
05-12
旋转不变局部二进卷积神经网络 由张欣，刘力，谢玉祥，陈杰，吴玲达，马蒂·皮蒂卡宁（MattiPietikäinen） 抽象的 尽管CNN具有前所未有的强大功能来学习有效的表示形式，但它们仍然是参数昂贵的，并且由于缺乏处理输入数据的方向转换的能力而受到限制。 为了缓解这个问题，我们提出了一种深度结构，称为旋转不变局部二进制卷积神经网络（RI-LBCNNs）。 RI-LBCNN是由局部二进制定向模块（LBoM）组成的深度卷积神经网络。 LBoM由两部分组成，即三层可控模块（第一层为两层，第二部分为一层），是局部二进制卷积（LBConv）和主动旋转滤波器（ARF）的组合。 通过用LBoM替换DCNN中的基本卷积层，可以轻松实现RI-LBCNN，并且可以自然地将LBoM插入流行的模型中，而无需对优化过程进行任何额外的修改。 同时，因此可以容易地端到端地训练所提出的RI-LBCNN。 大量实验表明，
pytorch_mixup:混合的PyTorch实现
05-15
混合的PyTorch实现 用法 $ python main.py --block_type basic --depth 110 --use_mixup --mixup_alpha 1 --outdir results CIFAR-10的结果 模型 测试错误（1次运行） ResNet-preact-56 w / Mixup alpha = 0.5（160 epochs） 5.55 ResNet-preact-56 w / Mixup alpha = 1（160 epochs） 5.62（3次中位数） ResNet-preact-56 w / Mixup alpha = 2（160 epochs） 6.14 ResNet-preact-56 w / Mixup alpha = 1（300 epochs） 5.11（5次中位数） ResNet-preact-110 w / M
pytorch-neat:NEAT（增强拓扑的神经进化）算法的pytorch实现
05-03
PyTorch-NEAT NEAT（增强拓扑的神经进化）方法的PyTorch实现，最初是由Kenneth O. Stanley创建的，是进化神经网络的一种有原则的方法。 。 实验 PyTorch-NEAT当前包含三个内置实验：XOR，单极平衡和汽车爬山。 异或实验 使用以下命令运行： python xor_run.py将运行多达150代，初始种群为150个基因组。 当/如果找到解决方案，将显示解决方案网络以及有关试验的统计信息。 随意运行多个试用版-只需​​增加xor_run.py文件中外部for循环的范围即可。 单极平衡 使用以下命令运行： python pole_run.py将运行多达150代，初始种群为150个基因组。 在OpenAI体育馆环境中跑步。 当/如果找到解决方案，则将在OpenAI体育馆中显示解决方案网络以及评估结果。 汽车登山实验 使用以下命令运行： python m
Local Binary Convolutional Neural Networks
weixin_44249855的博客
06-09 958
Local Binary Convolutional Neural Networks一、介绍二、主要内容意义通过卷积进行LBP运算LBCNN的网络结构参数对比预定义权重随机化 一、介绍 这是CVPR2017的一篇文章，主要通过将local binary pattern的编码方式与卷积神经网络CNN相结合，进而提出一种可以极大减少可学习参数数量的模型。 官方下载网址 http://xujuefei.com/lbcnn. 二、主要内容 意义 该模型的意义可以总结如下： 对可学习参数的数量进行极大缩减，可以减少
Local Binary Convolutional Neural Networks （LBCNN）
最新发布
PLANTTHESON的博客
12-25 986
Local Binary Convolutional Neural Networks （LBCNN）
LBVCNN
今晚打老虎
07-15 1204
LBVCNN: Local Binary Volume Convolutional Neural Network for Facial Expression Recognition from Image Sequences Abstract 对于表情识别，时间图像序列可以提供很好的时空特征，本文提出了一个新的3DCNN，可以完成端到端的基于时间图像序列的模型，同时他不需要面部关键点...
PyTorch 02-张量
qq_39172845的博客
03-04 1343
日月光华PyTorch—张量数据类型
CNN笔记（CS231N）——卷积神经网络（Convolutional Neural Networks）
shanwenkang的博客
01-28 935
卷积神经网络 如今卷积神经网络已经应用到生活的方方面面 我们上次讲了全连接层，全连接层一般作为卷积神经网络的最后一层 卷积层 下面我们来看卷积神经网络中最常用的结构：卷积层。由于输入图片的像素很多，如果我们将每个像素进行全连接的话那我们需要学习十分多的权重，这样不仅需要非常多的训练数据，还可能出现过拟合的问题。因此我们采用的结构是定义一个卷积核，让这个卷积核在图片上进行卷积操作...
PyTorch-Networks:CNN网络的Pytorch实现
05-02
PyTorch模型 CNN网络的Pytorch实现 古典网络 AlexNet： VGG： ResNet： 初始V1： InceptionV2和InceptionV3： InceptionV4和Inception-ResNet： 轻量级网络 MobileNets： MobileNetV2： MobileNetV3： ShuffleNet： ShuffleNet V2： 挤压网 Xception 混合网 幽灵网 对象检测网络 固态硬盘： YOLO： YOLOv2： YOLOv3： FCOS： FPN： 视网膜网 对象作为点： FSAF： 中心网 FoveaBox 语义分割 FCN 快速SCNN LEDNet： 网络 鱼眼MODNet： 实例细分 极地面具 人脸识别和识别 面盒 LFFD 变脸网 人体姿势估计 堆叠式沙漏网络 简单基准 脂蛋白
Transfer Learning with Convolutional Neural Networks in PyTorch
06-27
PyTorch中用卷积神经网络进行迁移学习，Transfer Learning with Convolutional Neural Networks in PyTorch。
神经网络压缩 剪枝 量化 嵌入式计算优化NCNN mobilenet squeezenet shufflenet
热门推荐
万有文的博客
07-06 1万+
性能提升方法 本文github链接 1. 小模型 mobilenet , 更精细模型的设计，紧致网络设计 mobilenet squeezenet shufflenet MobileNet逐通道卷积 + 普通点卷积 SqueezeNet 1∗1 和3∗3 卷积较少通道数量 ShuffleNet 分组点卷积+通道重排+逐通道卷积 2. 模型压缩：参数稀疏、剪裁、量化、分解 ...
CVPR2019--Binary Ensemble Neural Network--二值CNN网络集成
AI小作坊 的博客
04-22 1361
Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit? CVPR2019 本文最基本的思想： 二值CNN网络虽然速度快，占用内存少，但是精度低。本文分析了 二值CNN网络精度低的可能原因，然后提出 组合多个二值CNN网络来提升精度。 1 Introduction 深度神经网络 DNNs 在学术界...
二值神经网络（Binary Neural Network，BNN）
qq_27245709的博客
04-22 2726
转载自多篇博客，仅用作个人学习，如需删除，请见谅并联系本人。 BNN Bengio大神的著作《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》： 链接：https://arxiv.org/abs/1602.02830 参考代码：h...
Pytorch实现Convolutional Neural Networks卷积神经网络
weixin_44201353的博客
07-03 206
我们选择Miniplace作为数据集,包含了120K 100种类别的图片 图片原尺寸为128x128，为了方便预测，我们将其压缩为32x32 在这个例子里，我们使用Ppytorch搭建了一个传统的LeNet-5卷积神经网，具体代码如下： class LeNet(nn.Module): def __init__(self, input_shape=(32, 32), num_classes=100): super(LeNet, self).__init__() ...
CNN网络二值化--XNOR-Net： ImageNet Classification Using Binary Convolutional Neural Networks
cv_family_z的博客
07-15 1万+
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks本文主要是简化CNN网络，使得CNN网络能够在CPU实时跑起来，但是会牺牲一些精度。本文提出了两个不同的简化网络 ：Binary-Weight-Networks 和 XNOR-Networks。Binary-Weight-Networks 只是对CN
深度学习（一）-CNN原理研究
xiake001的专栏
10-31 6439
基本概念 协方差矩阵 关于协方差矩阵的理解 线性与非线性 “线性”=”齐次性”+”可加性”, “齐次性”是指类似于: f(ax)=af(x), “可加性”是指类似于: f(x+y)=f(x)+f(y), 这里没有太多特别的原因, 就是一个名字. “非线性”当然就是这两条至少之一不成立. 似然函数 如何理解似然函数? 详解最大似然估计（MLE）、最...
pytorch基于卷积层通道剪枝的方法
yyqq7226741的博客
10-21 7710
本文基于文章：Pruning Convolutional Neural Networks for Resource Efficient Inference https://arxiv.org/abs/1611.06440 下面以ResNet模型为例，讲解剪枝方法。 1 评估神经元（即通道）重要性 1.1 给模型中所有conv layer重新编号排次序； 1.2 计算每个conv ...
xnor net pytorch
09-05
### 回答1： XNOR-Net is a neural network architecture that aims to reduce the computational cost of deep learning models by using binary weights and activations. PyTorch is a popular open-source deep learning framework that provides tools for building and training neural networks. To implement XNOR-Net in PyTorch, you can use binary convolutional layers and binary activation functions. PyTorch also provides functions for calculating the bitwise XNOR operation. Here's an example of a binary convolutional layer in PyTorch: ``` import torch import torch.nn as nn class BinaryConv2d(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=0): super(BinaryConv2d, self).__init__() self.weight = nn.Parameter(torch.randn(out_channels, in_channels, kernel_size, kernel_size)) self.stride = stride self.padding = padding def forward(self, x): binary_weight = torch.sign(self.weight) return nn.functional.conv2d(x, binary_weight, stride=self.stride, padding=self.padding) ``` This code defines a binary convolutional layer that uses binary weights and the sign function to binarize the weights. The forward method applies the convolution using the binary weights. You can use this layer in a neural network to reduce the computational cost of the model. However, keep in mind that using binary weights and activations may reduce the accuracy of the model. ### 回答2： XNOR-Net是一种使用二值权重和二值激活函数的神经网络结构，具有高效、快速和低功耗的特点。该网络结构通过将权重和输入进行二值化，将乘法操作替换为位运算操作，从而降低了计算量和存储需求。 PyTorch是一个基于Python的深度学习框架，提供了丰富的功能和灵活的工具，使得深度学习模型的构建和训练变得更加简单。PyTorch支持各种类型的神经网络模型，包括XNOR-Net。 在PyTorch中，我们可以使用二值权重和二值激活函数来构建XNOR-Net。二值权重可以使用torch.sign()函数来实现，将权重转换为-1和1的形式。二值激活函数则可以使用类似的方法，将激活值转换为0和1。 构建XNOR-Net的过程类似于构建传统的神经网络模型。我们可以使用PyTorch的nn.Module来定义模型的结构，使用nn.Linear来定义全连接层，使用nn.ReLU来定义激活函数等等。然后，我们可以使用PyTorch提供的优化器和损失函数来训练和评估我们的模型。 总之，XNOR-Net是一种高效、快速和低功耗的神经网络结构，而PyTorch是一个强大的深度学习框架，可以方便地构建和训练XNOR-Net模型。使用PyTorch可以帮助我们更好地理解和应用XNOR-Net这一新兴的神经网络结构。 ### 回答3： xnor-net是一种基于二进制神经网络（Binary Neural Network）的模型架构，其主要使用的是二值（或多值）权重和激活函数，以实现高效的计算和内存使用。而pytorch则是一种开源深度学习框架，提供了丰富的工具和函数，方便用户进行神经网络的搭建和训练。 xnor-net在pytorch中的实现主要涉及两个方面。首先，在网络的模型定义部分，可以使用pytorch提供的二值权重和激活函数对网络层进行定义。同时，还需要使用xnor运算对输入和权重进行二值化处理，以实现模型参数的二值化。其次，需要在训练过程中使用相应的二值化算法，来更新二值网络的参数。这一过程可以通过基于梯度的二值化方法或者近似二值化方法来实现。 通过xnor-net和pytorch的结合，可以有效地在内存和计算资源有限的情况下进行高效的神经网络训练和推理。其二值化的特性使得网络参数和数据的表示更加紧凑，从而降低了模型的存储需求和计算复杂度。此外，pytorch作为一个灵活和易于使用的深度学习框架，提供了丰富的工具和函数，方便用户对xnor-net模型的定义和训练进行个性化的调整和优化。 总之，xnor-net的pytorch实现为神经网络的高效训练和推理提供了一种创新的方案。通过合理的网络设计和训练方法的选择，可以在保持较高模型性能的同时，减少计算资源的消耗，从而为各种应用场景带来更好的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值