Asthestarsfalll-CSDN博客

原创深度学习中的配置系统

配置系统是很多深度学习套件和算法库的重要组件，一个优秀的配置系统可以方便用户修改训练所需的超参数、管理实验并且增强项目可读性等。配置系统不光可以用于大型的算法库，也可以用于个人进行快速实验和迭代。然而当前深度学习社区的配置系统都或多或少存在一些不够方便的地方，本文将会介绍一些已有的配置系统，并尝试对其进行改进。YACS是一个轻量级的配置系统，Detectron和maskrcnn-benchmark便是使用的YACS，其使用可读性较好的YAML文件，格式为：该配置的第二行的为所要实例化的类，解析配置文件

2024-02-18 22:44:48 739

原创 C语言实现哈夫曼树求解及其编码输出

目标给定一组权值，根据权值求其一个哈夫曼树，并通过中序遍历的顺序输出叶子节点的哈夫曼编码。分析首先回顾哈夫曼树的求解过程：在权值中取最小的两个x,y，以这两个权值为叶子节点，生成一个权值为x+y的父亲节点；从权值组中删除x，y，添加x+y进入权值组；循环直到权值组仅剩一个元素，该元素为根节点的权值。一个重要的点是我们希望输入的权值有序，并且时刻保持有序，因此选用链表来存储权重，并每次插入时都按序排序，接下来只要用代码实现上述步骤便可完成哈夫曼树的构建；那么如何得到叶子节点的哈夫曼编码呢？

2021-10-26 17:03:33 3499 1

原创 Demystifying-Local-Vision-Transformer

论文名称：Demystifying Local Vision Transformer: Sparse Connectivity, Weight Sharing, and Dynamic Weight作者：Qi Han1，Zejia Fan，Qi Dai，Lei Sun，Ming-Ming Cheng，Jiaying Liu，Jingdong WangCode：https://github.com/Atten4Vis/DemystifyLocalViT/介绍本文的主要成果发现（finding）如下.

2021-10-24 21:10:10 907

原创 PP-LCNet: A Lightweight CPU Convolutional Neural Network

轻量级Trick的优化组合。论文名称：PP-LCNet: A Lightweight CPU Convolutional Neural Network作者：Cheng Cui, Tingquan Gao, Shengyu Wei,Yuning Du…Code：https://github.com/PaddlePaddle/PaddleClas摘要总结了一些在延迟（latency）几乎不变的情况下精度提高的技术；提出了一种基于MKLDNN加速策略的轻量级CPU网络，即PP-LCNet。

2021-10-23 15:46:54 1238

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

分层Local Vision Transformer，通用主干网络，各类下游任务实现SOTA。论文名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows作者：Ze Liu ，Yutong Lin，Yue Cao，Han Hu，Yixuan Wei，Zheng Zhang，Stephen Lin，Baining GuoCode：https://github.com/microsoft/Swin-Transf

2021-10-23 15:31:23 267

原创 Dynamic-conv

引入动态卷积，即根据多个卷积核对每个输入的关注程度，动态地对它们进行聚合。与静态算法(每层只有一个卷积核)相比，该算法显著提高了网络的表示能力，但增加了大量的计算开销，对高效的网络神经网络更加友好。并且可以很容易地集成到现有的CNN架构中路论文名称：Dynamic Convolution: Attention over Convolution Kernels作者：Yinpeng Chen ，Xiyang Dai， Mengchen Liu， Dongdong Chen， Lu Yuan， Zichen

2021-09-25 10:28:23 477

原创注意力机制综述

注意力最近几年在深度学习各个领域被广泛使用，无论是图像分割、语音识别还是自然语言处理的各种不同类型的任务中，注意力机制都在其中大放异彩介绍注意力（attention）机制最初应用于机器翻译任务，现在已被广泛地应用于深度学习的各个领域，无论是图像分割、语音处理，还是在计算机视觉和自然语言处理的各种不同类型的任务，注意力机制都在其中大放异彩。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他信息。同理，当神经网络处理大量的信息输入时，快速聚焦其中一些关键信息来进行处理，这

2021-09-25 10:16:39 7090 2

原创 CCNet: Criss-Cross Attention for Semantic Segmentation

论文名称：CCNet: Criss-Cross Attention for Semantic Segmentation作者：Zilong Huang，Xinggang Wang Yun，chao Wei，Lichao Huang，Wenyu Liu，Thomas S. HuangCode：https://github.com/speedinghzl/CCNet摘要上下文信息在视觉理解问题中至关重要，譬如语义分割和目标检测；本文提出了一种十字交叉的网络（Criss-Cross Net）以非常高效.

2021-08-19 21:29:25 1013 2

原创 FcaNet: Frequency Channel Attention Networks

论文名称：FcaNet: Frequency Channel Attention Networks作者：Zequn Qin, Pengyi Zhang, Fei Wu, Xi LiCode：https://github.com/cfzd/FcaNet摘要通道注意力在计算机视觉领域取得了重大成功，许多工作都致力于设计更加高效的通道注意力模块，而忽略了一个问题，使用全局平均池化作为预处理。基于频率分析，本文从数学上证明了全局平均池化是频域特征分解的特例。在此基础上，推广了频域中的通道.

2021-08-14 16:44:33 556

原创 VOLO: Vision Outlooker for Visual Recognition

论文名称：VOLO: Vision Outlooker for Visual Recognition作者：Li Yuan, Qibin Hou, Zihang Jiang, Jiashi Feng, Shuicheng YanCode： https://github.com/sail-sg/volo摘要视觉识别任务已被CNNCNNCNN主宰多年。基于自注意力的ViTViTViT在ImageNetImageNetImageNet分类方面表现出了极大的潜力，在没有额外数据前提下，Transform.

2021-08-07 15:47:22 813

原创 Cyclegan-for-music-generate

论文名称：Symbolic Music Genre Transfer with CycleGAN作者：Gino Brunner, Yuyi Wang, Roger Wattenhofer and Sumu ZhaoCode：https://github.com/sumuzhao/CycleGAN-Music-Style-Transfer前言本文使用Cycle Gan实现了不同音乐类型的转换，在原有模型的基础上，引入了新的loss提升生成的音乐质量.网络结构标识（嫌太麻烦可以先看2.1）：.

2021-08-02 16:46:22 295

原创 SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

论文名称：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks作者：Lingxiao Yang, Ru-Yuan Zhang, Lida Li, Xiaohua XieCode：https://github.com/ZjjConan/SimAM介绍本文提出了一种简单有效的3D注意力模块，基于著名的神经科学理论，提出了一种能量函数，并且推导出其快速解析解，能够为每一个神经元分配权重。主要.

2021-08-02 16:40:58 2424 14

原创 Transformer：Attention Is All You Need

论文名称：Attention Is All you Need作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N. Gomez，Łukasz Kaiser，Illia Polosukhincode：https://github.com/jadore801120/attention-is-all-you-need-pytorch前言基于RNN或CNN的Encoder-Decoder模型在NLP领.

2021-06-10 16:37:46 407

原创超越卷积、自注意力：神经网络新算子「内卷(Involution)」

论文名称：Involution: Inverting the Inherence of Convolution for Visual Recognition作者：Duo Li， Jie Hu， Changhu Wang， Xiangtai Li， Qi She， Lei Zhu， Tong Zhang， Qifeng Chen， The Hong Kong University of Science and Technology， ByteDance AI Lab， Peking University，.

2021-05-29 09:26:21 2130

weixin_50476352的博客