- 博客(33)
- 收藏
- 关注
RSS订阅原创 Transformer论文笔记4----采用最大池化压缩模型参数量（不含class token）
论文：Scalable Visual Transformers with Hierarchical PoolingViT保持patch序列全长度，这使得信息冗余，缺乏层级特征表示。因此提出一种Hierarchical Visual Transformer，采用渐进的池化token压缩序列长度，减少计算损失，类似于CNN中的特征图下采样，本文没有采用class token ,而是采用平均池化代替单一的class token，实验表明，平均池化更能获取位置信息。背景：自注意力你能够捕获长距离依赖，但是tr
2021-05-27 20:24:28
975
原创 Transformer论文笔记3----卷积池化操作用于提高空间交互率和尺寸缩放，全连接class token
Rethinking Spatial Dimensions of Vision Transformershttps://github.com/naver-ai/pit借鉴CNN的空间维度转换思想，随着网络加深，通道数增加，空间维度减少。提出Pooling-based Vision Transformer (PiT)，实验表明PiT提高了模型性能和泛化能力，在图像分类，目标检测和鲁棒性评估表现良好。CNN有限空间的位置交互，ViT允许所有位置通过transformer layer进行交互。同时，CNN
2021-05-27 20:13:21
2168
2
原创 Transformer论文笔记2----借鉴卷积的渐进缩放模型实现金字塔设计用于dense prediction任务
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without ConvolutionsViT存在的问题是，输入和输出的尺寸相同，因而也就无法处理较大尺寸输入的图片。借鉴CNN的网络，随着网络层数的加深，逐步减小特征尺寸的同时增加通道数，也就是信息的维度，这样可以在实现特征深层提取的同时，能够应对不同尺寸的数据。本文同样提出来dense prediction task密集预测任务的概念，主要针对目标检测和语义分
2021-05-27 20:10:26
592
原创 Transformer论文笔记1----利用Encoder的一种图片线性切分方法用于图像分类任务
AN IMAGE IS WORTH 16X16 WORDS TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE作为一种self-attention架构，transformer的主要方法是在一个较大文本语料库进行预训练，然后在一个小的特定任务数据集上进行微调。但是实验表明，在大尺寸架构如ResNet上训练后再迁移至中等尺寸数据集，分类正确率往往降低几个百分点，这是由于transformer缺乏CNN的固有的inductive bias，因而在数据不充分情况时不能很好泛化。
2021-05-27 20:09:07
1034
1
原创 关于transformer的几个为什么
如何实现的任意长度序列处理？padding mask机制，也就是对于不同长度的句子，按最长sequence length 和最长embedding dimension进行补齐，补齐的是0，但是LN层会有softmax，对于e的0次方并不是0，导致占据一定概率，因而需要处理一下，如补齐的位置设置负无穷，softmax之后也基本为0。什么叫self-attention?就是自注意机制，当前时刻的输入不止关注该时刻及以前时刻的相关，也关注未来时刻的，也就是关注所有的，计算相关性，得出attentio..
2021-05-27 20:06:45
2998
原创 调制识别论文笔记1----Spatial Transformer Networks保持空间不变性
论文题目：Modulation Classification using Convolutional Neural Networks and Spatial Transformer Networks论文地址1.主要思想应用spatial transformer network确保原始IQ信号不受信道条件的影响。研究了将STN应用到CNN上对不同过采样率下分类正确率的影响。2.背景介绍首先介绍了调制识别从军事向无线通信领域的发展然后介绍了基于似然比和基于特征的两种传统调制识别方法，分类方法逐渐向
2021-04-15 15:26:34
642
原创 模型优化论文笔记6----MobileNets采用深度可分离卷积在权衡精度的同时减小模型尺寸和时延
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》论文地址：https://arxiv.org/abs/1704.04861MXNet框架代码：https://github.com/miraclewkf/mobilenet-MXNet1.主要思想介绍了两种简单的全局超参数用以平衡时延和准确率，构建出尺寸较小、时延较低的模型用以匹配移动嵌入式设备。本篇着重于优化时延的同时产出小型网络
2021-03-31 19:11:56
1029
原创 模型优化论文笔记5----采用shuffled block和group convolutional的MBNet(71K)用于AMC
1.主要思想：提出一种MBNet网络，应用于AMC。网络由一系列带有残差连接的shuffle blocks（混洗块？）模块组成，每一个block由grouped convolutional layers分组卷积层和一个shuffling module组成。channel shuffling module是为了避免分组卷积层的无效组交互问题而提出的。除此之外，通过元素附加层从IQ信号中学习时空特征，建立从每一个混洗模块的输入到对应输出的残差连接。实验基于RadioML2018.01A数据集。2.背景：物
2021-01-17 21:25:20
923
1
原创 模型优化论文笔记4----保持准确性的同时得到更少参数的模型SqueezeNet
1 参考文献：论文地址：https://arxiv.org/pdf/1602.07360.pdf项目地址：https://github.com/DeepScale/SqueezeNet2 主要思想：保持准确性的同时得到更少参数的模型。提出Fire module，包含squeeze layer和expand layer。从微架构和宏架构两个角度探索Fire module内部和module之间的联系对accuracy的影响。将SqueezeNet与Deep Compression结合，实现模型尺寸
2021-01-12 15:38:36
411
原创 模型优化论文笔记3----应用稀疏正则化训练和结构化剪枝进行模型压缩
1 参考文献：[1]韦越,陈世超,朱凤华,熊刚.基于稀疏卷积神经网络的模型剪枝方法[J/OL].计算机工程:1-8[2021-01-10].https://doi.org/10.19678/j.issn.1000-3428.0059375.2 主要思想：通过对模型进行稀疏正则化训练，得到参数较为稀疏的深度神经网络模型，并结合卷积层和 BN层的稀疏性进行结构化剪枝，去除冗余的滤波器。3 背景：神经网络的过度参数化（一文献表明模型中仅5%的网络参数可预测剩余参数）模型剪枝：剪除不重要参数，压缩模型体
2021-01-10 22:58:54
2217
2
原创 模型优化论文笔记2----将高效卷积用于嵌入式平台和iphone实现实时检测
参考文献：《Pelee: A Real-Time Object Detection System on Mobile Devices》Code: https://github.com/Robert-JunWang/Pelee提出的 PeleeNet,通过设计高效的卷积方式并与移动设备硬件的运行库结合, 能够对移动设备上的目标检测、图像分类等任务进行实时预测. 使用 PeleeNet 在 iphone8 上实现目标检测任务, 可达到 23.6 FPS(Frames PerSecond, 每秒传输帧数),
2020-12-30 12:05:08
209
原创 模型优化论文笔记1----综述
之前在做基于深度神经网络的自动调制识别，然而设计的网络模型参数大，这阻碍了将模型部署到边缘设备，实现调制识别的真正落地。由此是否能够将网络模型进行优化，缩小其存储呢？博主接下来的一段时间要调研一下这个问题。先是看了一篇综述，希望对现有或以往的模型优化有个大概了解。[1]赖叶静,郝珊锋,黄定江.深度神经网络模型压缩方法与进展[J].华东师范大学学报(自然科学版),2020(05):68-82.Introduction背景：DNN的高内存消耗与高计算量限制了其在有限资源的硬件平台上的部署，也不能满足实
2020-12-30 11:49:57
602
原创 搭建分布式系统
web应用需要部署在服务器上，当一个服务器不够时，需要部署第二个。倘若还不够，这时需要进行集群。服务器集群一般4-5台，若超过，则性能可能下降。当一条应用来的时候，首先访问jsp页面，然后请求controller，接着请求service，再请求dao，需要将controller，service，dao分层。之前，我们都是将三者放在一起，一个前台需要一个后台。这样会造成资源的浪费。按需求部署服务...
2018-05-07 19:32:27
2070
原创 NO.14 Spring 事务
NO.14 Spring 事务事务分为两种：声明式事务和编程式事务。 编程式事务：需要编写代码控制事务在哪里开始，哪里提交，哪里回滚。 声明式事务：由Spring自动控制，事务在业务逻辑方法执行前开始，在业务逻辑方法正常结束后提交，在业务逻辑方法抛出异常时回滚。之前学习MySQL/JDBC时，学习了编程式事务，需要手动开启事务，进行手动提交。Spring的事务则采用AOP的思想。事...
2018-03-01 23:53:43
139
原创 NO.13 Spring AOP 注解
NO.13 Spring AOP 注解AOP开发配置方式：（1）xml配置（2）注解 这里，我们对比xml配置方式，介绍注解方式。注解方式，除业务类StuCardService之外，也需要日志的打印，即响应，通知LoggerAspect。倘若采用注解方式，需要有扫描，将普通JavaBean扫描到IOC容器中<context:component-scan base-package="com.xt.a
2018-02-27 20:22:39
180
原创 NO.12 Spring AOP 通知
NO.12 Spring AOP 通知通知： 拦截到连接点后，所要做的事情就是通知 。 通知的分类： 1、前置通知 2、后置通知 3、后置返回通知 4、环绕通知<前置通知和后置通知结合在一起> 5、异常通知 这里我们依次介绍Spring AOP中的这几类通知。1.前置通知 2.后置通知 两者类似：配置文件：<?xml version="1.0"...
2018-02-25 21:54:16
188
原创 NO.11 Spring AOP
NO.11 Spring AOP一：概念理解Spring AOP(Aspect Oriented Program)面向切面，集成了aspectj这个工具， 措施是采用横向抽取的机制取代了传统向继承体系的重复代码使用，比如说想要开发一些其他的功能，如性能监控、事务的管理、日志或权限的管理等，都可以用AOP。上节所述的代理机制也是AOP的一个思想，是采用手动的方式/最基本的方式使用AOP的思想...
2018-02-23 13:25:30
139
原创 NO.10 Java代理模式
NO.10 Java代理模式之前，我们一直学习的是面向对象编程，现在学习另外一种思想——面向切面编程AOP。假如说学生数据Student是从控制层到服务层再到持久层（数据库），支付信息同样也存到数据库。现在对系统添加日志，权限的管理。需要分别在controller层，service层，dao层添加日志，说明信息的流转。现在在service层添加一个日志——开始学生信息服务层，同样也需要一个结束信息服
2018-02-19 11:49:55
176
原创 NO.9 Spring IOC 依赖注入—自动扫描
NO.9 Spring IOC 依赖注入—自动扫描之前，我们都是将所有的配置都配置到配置文件中，假如一个工程中有成百上千个配置文件，那么找寻每个bean的配置就很难，怎么办呢？假如一个业务逻辑，需要3-4个JavaBean，如果一个系统中需要几十个或上百个业务逻辑，需要300-400个Java文件。例如一个学生信息的维护，控制层stuAction，Service层stuService，Dao层stu
2018-02-15 11:53:08
298
原创 NO.8 Spring IOC 依赖注入—自动装配
NO.8 Spring IOC 依赖注入—自动装配语法：<bean id="..." class="..." autowire="byType"/> autowire：表示自动装配，会自动从IOC容器中寻找名称为属性名的bean ID 。<?xml version="1.0" encoding="UTF-8"?><beans x
2018-02-11 21:37:08
202
原创 NO.7 Spring IOC DI依赖注入（2）
NO.7 Spring IOC DI依赖注入（2）四：注入集合 在spring IOC 容器中，向bean属性注入集合，也是通过property标签注入 ，不同的集合在注入值时，采用的标签不一样， 如果是list类型，则使用标签<bean id="class" class="com.xt.spring.ioc.test.Classes"> <property ...
2018-02-10 17:02:01
145
原创 NO.7 Spring IOC DI依赖注入（1）
NO.7 Spring IOC DI依赖注入（1）这里，我们再次提出DI——依赖注入。 IOC与DI是不可分割的，IOC管理大量的bean，DI管理它们之间的关系。所谓依赖，打个比方说，Service要用到Dao，那么Service就依赖于Dao。 Spring针对于设计模式中的几种实现，在不同的场景使用的知识点是由不同的设计模式实现的。一：属性注入首先将bean配置到容器当中，S...
2018-02-09 17:17:56
349
原创 NO.6 Spring IOC 对bean的生命周期的管理
NO.6 Spring IOC 对bean的生命周期的管理一：Bean 在IOC 容器中 的生命周期方法 Spring IOC 容器可以管理 Bean 的生命周期, Spring 允许在 Bean 生命周期的特定点执行定制的任务.。spring越来越强大，可以管理bean的生命周期，比如bean什么时候被创建，在创建之前想要做一些事情，IOC容器都可以进行管理，比如在apple创建之前...
2018-02-08 14:23:14
406
原创 NO.5 Spring IOC 对象的实例化过程
NO.5 Spring IOC 对象的实例化过程这里，我们需要知道一个名词——DI（依赖注入）。 需要一个对象，就让工厂注入进去一个对象，需要一个service，就让IOC注入一个service。 IOC就是一个大工厂，专门用来生产对象的，将图纸 （Java的class文件）给工厂，工厂就能负责建造。将class文件（图纸）配置到spring的配置文件——应用的上下文application
2017-12-12 17:36:21
2501
原创 NO.4 Spring IOC 开发步骤
NO.4 Spring 开发步骤一.搭建Spring开发环境（1）在pom.xml中引入所需的jar包 log4j，springframework<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</ver
2017-12-05 00:07:52
196
原创 NO.3 Spring Projects简介
NO.3 Spring Projects简介spring是一个开源的框架，可去官网spring.io了解更多。 spring在一步步壮大，之前只有ioc容器，现在有许多projects。spring io platform：专门控制流的一个组件。 spring boot：起始组件，类似于一个根基，使用时，相当于地基，已经集成了最基础的应用。 spring framework：spring的核心
2017-11-27 23:17:54
531
原创 NO.2 Spring IOC架构及概念
NO.2 Spring IOC架构及概念在spring之前，一直有一个框架，叫做EJB，EJB是一个企业级JavaBean，它能够将各种各样的组件放到它的容器当中。开发Java时，往往会有三个层次——MVC的设计模式： 前端JSP—–控制器（进行选择）—–Service—–Dao View层 Controller Controller层，Service层，Dao层，都是
2017-11-26 11:19:18
259
原创 NO.1 Spring IOC 先建一个简单工厂
NO.1 Spring IOC 先建一个简单工厂首先我们生产一个橘子，苹果，慢慢形成一个果园，它们有一个共同特征，将它们变为抽象类，继承一个共同的类fruit。（创建javaBean，略）那么，能不能像果园一样，我需要苹果，直接去果园买或生产商直接给我送过来而不用自己new？ 在之前使用对象时，需要手动new一个对象，现在，我们能否进入工业化时代从某一组织获取需要的对象？这就类似于第二次工业革命
2017-11-20 23:15:52
295
原创 NO.3 Mybatis.xml结构介绍
NO.3 Mybatis.xml结构介绍首先，我们来谈一下Mybatis.xml的configuration 配置问题 文档的顶层结构如下：properties 属性settings 设置typeAliases 类型别名typeHandlers 类型处理器objectFactory 对象工厂plugins 插件environments 环境 environment 环境变量
2017-11-12 16:54:33
308
原创 NO.2 Mybatis 实际项目的使用
NO.2 Mybatis 实际项目的使用依旧采用MVC的编程模式，分三个层，Controller，Service，Dao，Dao层用接口定义，UserDaoImpl实现接口Dao。那么我们来考虑一个问题，是注入一个SqlSession还是注入一个SqlSessionFactory? 如果注入session可能存在资源的抢占，session过程中可能关闭，如果同时进行另一操作，可能因资源已关闭而报错
2017-11-04 21:55:25
400
原创 No.1 Mybatis 初次见面
No.1 Mybatis 初次见面一. Mybatis简介1>Mybatis是什么？ 是一个开源的ORM（对象持久化）框架。之前为Apache旗下的顶级开源项目，后转到Google，变为Mybatis。2>Mybatis与Mysql区别 mybatis主要让软件工程师的精力放在sql上，不用每次操作数据库需要考虑设计什么java方法，如何将数据库里的数据映射为java对象。也就是说，通过myba
2017-11-04 20:29:27
144
原创 NO.2 Spring MVC CRUD起步
NO.2 Spring MVC CRUD起步 以往的增删改查，我们需要从JSP页面获取数据，将数据传到Servlet控制层，在经过业务处理，数据操作后，将操作的结果返回至JSP页面。当要处理大量操作时，这样的流程尽管层次分明，但未免过于繁琐。下面我们将从CRUD入手，简单地应用Spring MVC，体现它的灵活性，方便性。 同样以学生信息的增删改查为例(在此，我们只做简单的示例，不
2017-10-18 00:23:51
222
原创 No.1 Spring MVC 从hello开始
Spring MVC 从hello开始在以往的开发中，我们对MVC编程模式，也许并不陌生，M：model模型，V：view视图，C：control控制层。Model主要指Java bean，包括处理业务的业务bean，承载数据的实体bean。View主要指用户浏览网页的内容，诸如JSP，HTML等。而像我们之前所用到的servlet，既调用了java类，又实现了向jsp页面跳转，可以称
2017-10-13 20:22:56
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人