- 博客(23)
- 收藏
- 关注
RSS订阅原创 1.pytorch Tensor
张量是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，我们使用张量对模型的输入和输出以及模型的参数进行编码。张量类似于NumPy 的ndarrays，不同之处在于张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和 NumPy 数组通常可以共享相同的底层内存，从而无需复制数据。张量也针对自动微分进行了优化。初始化张量直接来自数据张量可以直接从数据中创建。数据类型是自动推断的。来自 NumPy 数组可以从 NumPy 数组创建张量（反之亦然 - 请参阅）。
2022-11-24 10:44:12
237
1
翻译 从GAN到WGAN
生成对抗网络（GAN）在许多的用于复制真实世界中的丰富内容的生成式任务中取得了极为卓著的效果，如图片、语言和音乐。它起源于一个游戏理论：两个模型，一个生产者和一个审核者，它们互相竞争从而使得它们同时变得更好。然而，训练一个GAN模型是一个比较困难的事情，在训练时容易不稳定或者发生崩溃。这里我将基于生成对抗网络中的一些数学知识，来解释为什么难以训练，并介绍一种GAN的改进版本来试图解决这个训练问题
2022-11-23 16:00:43
1601
原创 对称量化VS非对称量化
非对称量化相比于对称量化而言，无需遵循0不变的映射规则，显然具有更好的动态映射范围，并且当面临一些特殊情况，如对于经过relu的激活值（全为非负值），使用对称量化时，需要仔细考虑使用符号量化，还是无符号量化。可以看到，后两项都是常量，可以提前离线计算好，但额外多出的第二项相比于对称量化而言，非对称量化有着较大的额外计算开销。综合以上分析，硬件支持的前提下，量化时对激活值X使用非对称量化，对权重值W使用对称量化，或许是一种更适宜的量化方案。其中r为量化前数值，S为缩放因子，q为量化后数值，Z表示零点。...
2022-07-29 11:34:15
4322
2
原创 AlphaCode论文精读
论文标题：《Competition-Level Code Generation withAlphaCode》 下载地址：https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf DeepMind 发表于2022年2月19号 AlphaCode在OpenAI的CodeX工作的基础上前进了一大步，运行有更长的文档
2022-06-25 16:33:49
602
原创 CodeX论文精读
论文：《Evaluating Large Language Models Trained on Code》下载地址：https://arxiv.org/pdf/2107.03374.pdfCopilot的核心技术：给定函数名和功能描述，可以自动进行代码补全，或者给定代码，给出相关文档作者团队收集了Github上所有的不重复的python代码，总计179GB，并进行了简单过滤(去掉了过大的文件（>1MB）和过长的代码(>100行或单行超过1000个字符))，在数据集上面训练了一个GPT3模型作者团队手动编写了
2022-06-24 21:25:08
2204
原创 一、TensorRT简介与入门
1.TensorRT基本特性和用法基本特性：用于高效实现已训练好的深度学习模型的推理过程的SDK内含推理优化器和运行时环境使DL模型能以更高吞吐量和更低的延迟运行有C++和python的API，完全等价可以混用2. 三种使用TensorRT的方式2.1 Workflow：使用TensorRT API搭建一些术语：Builder（网络原数据）：模型搭建的入...
2022-04-27 19:51:36
6366
2
原创 Faster RCNN 学习笔记
本文主要参考B站up霹雳吧啦Wz的视频结合原论文整理笔记所得1.1Faster RCNN理论合集_哔哩哔哩_bilibili本视频合集用于讲解Faster R-CNN原理部分，从R-CNN -> Fast R-CNN -> Faster R-CNNhttps://www.bilibili.com/video/BV1af4y1m7iL?spm_id_from=333.999.0.0R-CNN1.1 简介R-CNN((Region with CNN feature 基于区...
2022-04-26 21:21:52
1841
原创 linux基础操作之thrift
1. 简介Apache Thrift软件框架用于可伸缩的跨语言服务开发，它将软件栈和代码生成引擎结合在一起，以构建在C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Cocoa、JavaScript、Node.js、Smalltalk、OCaml和Delphi等语言之间高效、无缝地工作的服务。Thrift 采用IDL（Interface Definition Language）来定义通用的服务接口，然后通过Thrift...
2022-04-23 22:37:25
1373
原创 深拷贝与浅拷贝
1. 浅拷贝对于python而言，"="仅会传递引用a = [1, 2, 3]b = a如创建一个list a ，再把a赋给b，仅会将a创建的list地址指针传递给b，让b指向a的创建的list地址，而不是新创建一个list对象这时，修改b的值，会造成a中的值也会发生变化b[0] = 5因此为了解决可变对象的引用可能会产生的冲突（修改一个，导致另一个不希望改变的变量也改变了），可以使用浅拷贝来避免冲突，浅拷贝的使用方法有两.
2022-04-21 21:41:21
543
原创 Swin Transformer 学习笔记
Swin Transformer1. 前言Vision Transformer只做了图片分类任务，表现了transformer在视觉领域的强大实力，但未表明transformer架构能cover掉CV领域的所有任务。Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且获得了ICCV 2021 best paper，其证明了transformer架构可以很好地用于所有的CV任务Swin Transformer名字来自(Shifted...
2022-04-20 14:08:14
7678
1
原创 numpy的基本操作上
1. 数组的构造通过array构造np.array([1, 2, 3])等差序列np.linspace()或np.arrange()np.linspace,取头和尾，中间均匀取点np.linspace(start=0, stop=8, num=5) # 起始、终止(包含)、样本个数#输出：array([0., 2., 4., 6., 8.])x=np.linspace(6,18,7)#输出：[ 6. 7.71428571 9.42857143
2022-04-19 20:41:48
619
原创 linux基础之tmux和vim
1. tmux教程1.1 简介功能：(1) 分屏。(2) 允许断开Terminal连接后，继续运行进程。结构：一个tmux可以包含多个session，一个session可以包含多个window，一个window可以包含多个pane。实例：tmux:session 0:window 0:pane 0pane 1pane 2...
2022-04-18 19:43:16
137
原创 linux基础操作之git
1. 基本概念工作区：仓库的目录。工作区是独立于各个分支的。暂存区：数据暂时存放的区域，类似于工作区写入版本库前的缓存区。暂存区是独立于各个分支的。版本库：存放所有已经提交到本地仓库的代码版本版本结构：树结构，树中每个节点代表一个代码版本。2. 全局设置命令 git config --global user.name xxx：设置全局用户名，信息记录在~/.gitconfig文件中 git config --...
2022-04-17 21:21:18
827
原创 匿名函数与map方法
有时候我们想临时实现一个操作，并且以后也不想在程序的其他地方中调用这个函数，那么就可以使用匿名函数，不指定函数名，只需要对应的函数映射关系[(lambda x: 2*x) (i) for i in range(5)]#输出：[0, 2, 4, 6, 8]对于上述的这种列表推导式的匿名函数映射，还可以map函数来完成，map(function,iterator)list(map(lambda x, y: str(x)+'_'+y, range(5...
2022-04-16 20:29:22
595
原创 列表推导式
普通写法# 生成一个数字序列L = []def my_func(x): return 2*xfor i in range(5): L.append(my_func(i))L#输出[0,2,4,6,8]列表推导式可以利用列表推导式进行写法上的简化：[* for i in *]。其中，第一个`*`为映射函数，其输入为后面`i`指代的内容，第二个`*`表示迭代的对象，比如range(5)。M=[2*i for i in range(5)]#...
2022-04-16 20:25:55
1304
原创 *args和**kwargs
*args和**kwargs的区别首先*args和**kwargs的区别主要是*和**的区别，与变量名args和kwargs无关，也可以命名成*cat和**dog；*args接收不带变量名的变量，**kwargs接收带变量名的变量。*args和**kwargs可以共同使用，但是顺序一定是先*args,再**kwargs*args*args接收多余的不带变量名的变量，如图中的3,4,5,6,7，并保存为tuple,就可以用遍历和索引方式访问args，比如这里将arg...
2022-04-15 15:25:49
1440
原创 Vision transformer学习笔记
1. transformer基本架构在了解cv中的transformer之前，我们先来复习一下transformer的基本架构1.1 编码器与解码器我们可以将网络分成两个部分，编码器与解码器。编码器：将输入编程成中间表达形式（抽取特征）解码器：将中间表示（特征）解码成任务需要的输出从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。对应到CNN，就是说前面使用卷积层进行...
2022-04-14 17:28:11
4896
原创 注意力机制
1.直观认知注意力机制假设你想在淘宝上买一件价格便宜、黑白相间的格子衬衫，而淘宝每件衣服都有不同的用料、尺寸、类型、价格、颜色、款式、风格等等，这时你就会根据你的需求更关注如款式：衬衫、颜色：黑白相间、价格：便宜等有效信息，更不关注其他的信息，最终挑选出你心仪的衣服下单。在这里，你通过给定的查询query（价格便宜、黑白相间、格子衬衫），将query与相关的键key（不同衣服的参数说明）和对应的值value（衣服链接）进行匹配，得出了最匹配的值（你最终下单的衣服链接）...
2022-04-12 15:23:36
14368
7
原创 轻量级网络开山之作：MobileNet
目录1.1 MobileNet v11.2 MobileNet V21.3 MobileNet v3前面我们谈到的卷积神经网络，内存需求大、运算量大，往往无法在移动设备以及嵌入式设备上运行（比如resnet-152有644m参数，基本不可能在移动设备上运行）而深度学习的初衷就是为了能将AI技术应用落地，因此轻量级网络应用而生。MobileNet网络是由google团队在2017提出的，专注于移动端或嵌入式设备中使用，是轻量级网络的开山之作。...
2022-04-11 20:27:28
1113
原创 ResNet及其变体ResNeXt学习笔记
ResNet及其变体ResNeXt1. ResNetResNet作为分类网络赢得了2015年ILSVRC冠军，且将top-5 error降低到了3.57%。这一年，深度学习第一次在这个任务上打败了人类（top-5 95%）。同时作者还测试了ResNet对于计算机视觉下游任务中的提升效果，仅仅通过替换方法中的backbone（比如将faster rcnn中的vgg-16网络换成了resnet-101），ResNet就在2015的ImageNet 目标检测、Image...
2022-04-10 14:08:24
5796
原创 AlexNet、VGG、GoogleNet学习笔记
1. 深度学习奠基作：AlexNetAlexNet 赢得了2012年ILSVRC 2012（ImageNet Large Scale Visual Recognition Challenge）竞赛，top1 error：36.7%， top5 error:15.4%当时排名第二的传统机器学习方法SIFT+FVS，top 5 error: 26.2%，且传统机器学习已难以继续提升。深度学习发展十年后的的今天，imagenet数据集上的SOTA方法：top1准确率：90.940%，top5准确率..
2022-04-08 15:22:18
1921
原创 卷积与Lenet(对卷积的再思考)
我第一次看到卷积这个概念应该是在本科概率论的卷积公式里，但当时只会用，不理解含义，后面又在传统的图像处理算法以及深度学习中经常用到卷积，但不同处的卷积在概念上又有一些不同与相同之处，而综合之后对卷积也有了更深的理解，因此结合自身理解以及相关视频，基于深度学习对卷积整理如下。主要参考自：王木头学科学、跟李沐学AI、霹雳吧啦Wz、小元老师、同济子豪兄、pytorch官网等。1.从信号处理的角度理解卷积下面来分析卷积的由来与物理意义。假设一个人不停的吃东西，进食函数f(t)与时间t关系...
2022-04-08 09:25:35
1097
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人