深度学习基础
文章平均质量分 87
lansfair
算法工程师
展开
-
DetectorRS论文及代码解读
DetectorRS论文及代码解读原创 2023-07-07 11:24:11 · 432 阅读 · 0 评论 -
对称量化VS非对称量化
非对称量化相比于对称量化而言,无需遵循0不变的映射规则,显然具有更好的动态映射范围,并且当面临一些特殊情况,如对于经过relu的激活值(全为非负值),使用对称量化时,需要仔细考虑使用符号量化,还是无符号量化。可以看到,后两项都是常量,可以提前离线计算好,但额外多出的第二项相比于对称量化而言,非对称量化有着较大的额外计算开销。综合以上分析,硬件支持的前提下,量化时对激活值X使用非对称量化,对权重值W使用对称量化,或许是一种更适宜的量化方案。其中r为量化前数值,S为缩放因子,q为量化后数值,Z表示零点。...原创 2022-07-29 11:34:15 · 4287 阅读 · 2 评论 -
AlphaCode论文精读
论文标题:《Competition-Level Code Generation withAlphaCode》 下载地址:https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf DeepMind 发表于2022年2月19号 AlphaCode在OpenAI的CodeX工作的基础上前进了一大步,运行有更长的文档原创 2022-06-25 16:33:49 · 592 阅读 · 0 评论 -
CodeX论文精读
论文:《Evaluating Large Language Models Trained on Code》下载地址:https://arxiv.org/pdf/2107.03374.pdfCopilot的核心技术:给定函数名和功能描述,可以自动进行代码补全,或者给定代码,给出相关文档作者团队收集了Github上所有的不重复的python代码,总计179GB,并进行了简单过滤(去掉了过大的文件(>1MB)和过长的代码(>100行或单行超过1000个字符)),在数据集上面训练了一个GPT3模型作者团队手动编写了原创 2022-06-24 21:25:08 · 2186 阅读 · 0 评论 -
Faster RCNN 学习笔记
本文主要参考B站up霹雳吧啦Wz的视频结合原论文整理笔记所得1.1Faster RCNN理论合集_哔哩哔哩_bilibili本视频合集用于讲解Faster R-CNN原理部分,从R-CNN -> Fast R-CNN -> Faster R-CNNhttps://www.bilibili.com/video/BV1af4y1m7iL?spm_id_from=333.999.0.0R-CNN1.1 简介R-CNN((Region with CNN feature 基于区...原创 2022-04-26 21:21:52 · 1836 阅读 · 0 评论 -
Swin Transformer 学习笔记
Swin Transformer1. 前言Vision Transformer只做了图片分类任务,表现了transformer在视觉领域的强大实力,但未表明transformer架构能cover掉CV领域的所有任务。Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章,并且获得了ICCV 2021 best paper,其证明了transformer架构可以很好地用于所有的CV任务Swin Transformer名字来自(Shifted...原创 2022-04-20 14:08:14 · 7636 阅读 · 1 评论 -
Vision transformer学习笔记
1. transformer基本架构在了解cv中的transformer之前,我们先来复习一下transformer的基本架构1.1 编码器与解码器我们可以将网络分成两个部分,编码器与解码器。编码器:将输入编程成中间表达形式(抽取特征)解码器:将中间表示(特征)解码成任务需要的输出从编解码的角度来理解神经网络,就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构,再通过解码器解码成你需要的任务输出。对应到CNN,就是说前面使用卷积层进行...原创 2022-04-14 17:28:11 · 4879 阅读 · 0 评论 -
注意力机制
1.直观认知注意力机制假设你想在淘宝上买一件价格便宜、黑白相间的格子衬衫,而淘宝每件衣服都有不同的用料、尺寸、类型、价格、颜色、款式、风格等等,这时你就会根据你的需求更关注如款式:衬衫、颜色:黑白相间、价格:便宜等有效信息,更不关注其他的信息,最终挑选出你心仪的衣服下单。在这里,你通过给定的查询query(价格便宜、黑白相间、格子衬衫),将query与相关的键key(不同衣服的参数说明)和对应的值value(衣服链接)进行匹配,得出了最匹配的值(你最终下单的衣服链接)...原创 2022-04-12 15:23:36 · 14249 阅读 · 7 评论 -
轻量级网络开山之作:MobileNet
目录1.1 MobileNet v11.2 MobileNet V21.3 MobileNet v3前面我们谈到的卷积神经网络,内存需求大、运算量大,往往无法在移动设备以及嵌入式设备上运行(比如resnet-152有644m参数,基本不可能在移动设备上运行)而深度学习的初衷就是为了能将AI技术应用落地,因此轻量级网络应用而生。MobileNet网络是由google团队在2017提出的,专注于移动端或嵌入式设备中使用,是轻量级网络的开山之作。...原创 2022-04-11 20:27:28 · 1110 阅读 · 0 评论 -
ResNet及其变体ResNeXt学习笔记
ResNet及其变体ResNeXt1. ResNetResNet作为分类网络赢得了2015年ILSVRC冠军,且将top-5 error降低到了3.57%。这一年,深度学习第一次在这个任务上打败了人类(top-5 95%)。同时作者还测试了ResNet对于计算机视觉下游任务中的提升效果,仅仅通过替换方法中的backbone(比如将faster rcnn中的vgg-16网络换成了resnet-101),ResNet就在2015的ImageNet 目标检测、Image...原创 2022-04-10 14:08:24 · 5765 阅读 · 0 评论 -
AlexNet、VGG、GoogleNet学习笔记
1. 深度学习奠基作:AlexNetAlexNet 赢得了2012年ILSVRC 2012(ImageNet Large Scale Visual Recognition Challenge)竞赛,top1 error:36.7%, top5 error:15.4%当时排名第二的传统机器学习方法SIFT+FVS,top 5 error: 26.2%,且传统机器学习已难以继续提升。深度学习发展十年后的的今天,imagenet数据集上的SOTA方法:top1准确率:90.940%,top5准确率..原创 2022-04-08 15:22:18 · 1911 阅读 · 0 评论 -
卷积与Lenet(对卷积的再思考)
我第一次看到卷积这个概念应该是在本科概率论的卷积公式里,但当时只会用,不理解含义,后面又在传统的图像处理算法以及深度学习中经常用到卷积,但不同处的卷积在概念上又有一些不同与相同之处,而综合之后对卷积也有了更深的理解,因此结合自身理解以及相关视频,基于深度学习对卷积整理如下。主要参考自:王木头学科学、跟李沐学AI、霹雳吧啦Wz、小元老师、同济子豪兄、pytorch官网等。1.从信号处理的角度理解卷积下面来分析卷积的由来与物理意义。假设一个人不停的吃东西,进食函数f(t)与时间t关系...原创 2022-04-08 09:25:35 · 1095 阅读 · 0 评论