- 博客(217)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Win10+MX350+CUDA10.2+Python3.9配置Detectron2
conda create -n 2pcnet python=3.9`（事先安装好Anaconda3）
2023-10-18 22:53:26
694
原创 GPT---1234
本系列的目标是，通过逐段逐句精读OpenAI系列论文，逐步逼近ChatGPT的底层原理，揭开ChatGPT的神秘面纱。的概念，在很多NLP数据集上都取得了非常好的效果，包括翻译、问答、完形填空，以及一些需要实时推理和领域适应的任务（如整理单词、在句子中应用新单词、计算三位数的算术等复杂任务）。只要语言模型的容量足够大，训练集足够丰富，仅仅依赖语言模型的学习，便可以同时完成其他有监督任务的学习。核心思想：训练一个通用的预训练模型，使下游任务无需手动生成或标记训练数据集，更无需更改预训练模型的参数或结构。
2023-08-25 11:04:59
2116
原创 Swin Transformer
首先通过 Patch Partition ，变成 （H/4）*（W/4） * 48 的图片，再依次通过 Stage1、Stage2、Stage3、Stage4，Stage2 在 Stage1 的基础上下采样了两倍，Stage3 在 Stage2 的基础上下采样了两倍，Stage4 在 Stage3 的基础上下采样了两倍，在下采样的过程中 channel 会翻倍。但为了分别计算不同区域各自的注意力，不计算不同区域的信息，将其减去100，经过softmax之后，都变成0，因此得到的还是只有同一区域的信息。
2023-08-16 16:32:27
264
原创 Advancing mathematics by guiding human intuition with AI
BSD 猜想，数学家用计算机辅助计算一些简单的情况，从而抽象出一个更一般的结论只有庞加莱猜想被解决；Richard 计算机理论研究者，一个算法的复杂度的上下限，通过计算机模拟逼近曲线的形状，然后猜想数学结论 or 证明的思路是什么。数学家的直觉：需要思考 2个 不同的数学物体之间的联系，猜 x(z) 和 y(z) 的联系。数学归纳法：n=1、2、3的简单例子，找规律；ML 学习 1个 四维的常数值，得到学习的常数值后，用严格的数学推理来证明猜想。更复杂的例子，ML 要学的函数 f 更复杂、维度更高；
2023-08-16 14:27:07
208
原创 对比学习论文综述总结
从第一阶段可以看到：它们使用的代理任务是不一样的，有个体判别，有预测未来，还有多视角多模态；它们使用的目标函数也不尽相同，有 NCE，有infoNCE，还有NCE的其它变体；它们使用的模型也都不一样，比如说invariant spread用了一个编码器；Inst Disc用一个编码器和memory bank；cpc有一个编码器，还有一个自回归模型；cmc可能有两个甚至多个编码器；它们做的任务从图像到视频到音频到文字到强化学习，非常的丰富多彩。到了第二阶段很多细节都处于统一了，比如说。
2023-08-14 19:47:33
319
原创 MoCo论文精读
最广为应用的代理任务：instance discrimination，从数据集中选择一张图片，在这张图片上做随机裁剪和数据增广（都叫做Transformation），从而得到另外两张图（看着很不同，但来自于一张图，因此语义信息不应该发生变化，把其中一张作为锚点（即基准点）那么另一张图就叫做正样本，即相似的；数据集中另外的所有其他图片都认为是负样本，即不相似的）当m很大接近于1时，当前的输入影响很小，MoCo利用动量的这个特性，缓慢的更新一个编码器，从而让中间学习的字典中的特征尽可能的保持一致。
2023-08-14 10:41:25
92
原创 MAE精读
Autoencoding is a classical method for learning representations. It has an encoder that maps an input to a latent representation and a decoder that reconstructs the input.自编码是学习表征的经典方法。它有一个将输入映射到潜在表示的编码器和一个重建输入的解码器。
2023-08-01 10:16:44
200
原创 操作系统5
答：因为不同的设备内部的硬件特性不同，这些特性只有厂家才知道，因此厂家必须提供与设备对应的驱动程序，CPU执行这些驱动程序的指令序列，来完成设置设备寄存器，检查设备状态等工作。通道：一种硬件，可以理解为“弱鸡版的CPU”、“一个任务清单”。答：块设备，以快为单位进行数据的传输，可寻址；字符设备以字符为单位传输速度慢，不可寻址，常采用中断驱动的方式。答：读取地址连续的磁盘块时，采用（柱面号，盘面号，扇区号）的地址结构可以减少磁头移动消耗的时间。2. 为什么不同的设备需要不同的设备驱动程序？
2023-07-30 21:07:38
323
原创 操作系统4
文件管理文件管理文件的逻辑结构文件的目录文件的物理结构文件存储空间管理文件的基本操作文件共享文件保护文件系统的层次结构文件系统的全局结构虚拟文件系统。
2023-07-30 14:56:15
126
原创 操作系统3
空间分配---动态分区分配算法内存管理内存可存放数据。程序执行前需要先放到内存中才能被CPU处理。程序运行的原理编辑源代码文件-->编译-->链接-->装入链接的三种方式① 静态链接：程序运行前，将各目标模块及它们所需的库函数连接成一个完整的可执行文件（装入模块），之后不再拆开。② 装入时动态链接：将目标模块装入内存时，边装入边链接的方式。：执行中需要该目标模块时，才对它进行链接。优点：便于修改和更新，便于实现对模块的共享。三种装入方式① 绝对装入：编译时产生绝对地址。
2023-07-30 10:31:41
238
原创 操作系统1
答：当两个进程并发运行，同时请求同一个系统资源时，为了保证两个进程能够协调进行使用资源，需要由操作系统内核对共享资源进行统一的管理，并向上提供“系统调用”，进程通过系统调用向内核发出请求，内核对各个请求进行协调处理。有：陷阱，陷入（由陷入指令引发，是应用程序故意引发的）、故障（由错误条件引发的，可能被内核程序修复）、终止（由致命错误引起，内核程序无法修复）两类指令：特权指令、非特权指令；③ 对硬件机器的扩展：将cpu、内存、磁盘、显示器、键盘等硬件合理的组织起来，让硬件能够协调配合，实现更多复杂的功能。
2023-07-28 09:45:11
199
原创 Vision Transformer (ViT)
生成式模型与判别式模型，是指，然后利用该模型来生成新的数据。生成式模型的典型代表是，该模型通过学习数据的分布来建立概率模型，然后利用该模型来生成新的数据。，是指，然后利用该模型来预测新的输出。判别式模型的典型代表是，该模型通过学习输入和输出之间的映射关系来建立分类模型，然后利用该模型来预测新的分类结果。：决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型；：感知机、支持向量机、K临近、Adaboost、K均值、潜在语义分析、神经网络；
2023-07-27 22:18:49
1141
原创 计算机组成原理问答7
DMA（Direct Memory Access）控制器是一种在系统内部转移数据的独特外设，可以将其视为一种能够通过一组专用总线将内部和外部存储器与每个具有DMA能力的外设连接起来的控制器。而使用指针的指针，则只需要修改主存中的中断向量的值即可。答：即中断隐指令：1. 关中断 2. 保存断点（PC）3. 引出中断服务程序。输入设备（鼠标、键盘）、输出设备（显示器、打印机）、外存设备（光盘、硬盘）PSW中IF=1表开中断（允许中断）=0表关中断。：指向了中断请求服务程序的入口地址。中断方式与DMA方式。
2023-07-27 15:18:03
207
原创 计算机组成原理问答6
按功能：片内总线（CPU内部各部件连接的总线）、系统总线（计算机系统内部各部件连接的总线。包括数据、地址、控制总线）、通信总线（用于计算机系统间或计算机系统与其他系统间的连接）是指总现在双方交换数据的过程中需要时间上配合关系的控制，这种控制称为总线定时，它的实质是一种协议或规则。特性：机械特性（尺寸、形状）、电气特性（传输方向、电平有效范围）、功能特性（数据、地址、控制信号）、时间特性（信号和时序的关系）按数据传输格式：串行（一个比特一个比特的传输）、并行（一次传输多个比特）解决了多个设备争用总线的问题。
2023-07-27 09:48:42
82
原创 计算机组成原理问答5
CPUCPUCPU两大核心部件：运算器+控制器运算器的核心：ALU（算数逻辑单元），功能：对数据进行加工。基本结构：ALU、暂存寄存器、通用寄存器组、累加寄存器ACC、程序状态寄存器PSW、移位器、计数器。控制器功能：取指令、分析指令、执行指令。基本结构：程序计数器PC、指令寄存器IR、指令译码器、时序系统、微操作信号发生器、MAR、MDR。用户可见的寄存器（可更改内容的）：通用寄存器组、PSW、PC不可见的：MAR、MAD、IR、暂存寄存器CPU功能指令控制。
2023-07-26 20:33:21
356
原创 计算机组成原理问答4
分类：数据传输类（CPU、主存间的数据传送）、运算类（算术逻辑操作、移位操作）、程序控制类（代表程序执行流，跳转指令）、输入输出类（cpu、IO设备直接的数据传送）设计时注意，短的操作码不能是长操作码的前缀（类似于哈夫曼编码），不能重复。：PC+“1”----->PC（1个指令字长，不是单纯的地址+1）定长指令字+可变长操作码：不同地址数的指令使用不同长度的操作码。确定下一条要执行的指令的存放地址，有程序计数器PC指明。半字、单字、双字指令----是机器字长的多少倍决定的。指令字长：指令的长度，是可变的。
2023-07-26 10:41:27
108
原创 计算机组成原理问答3
存储系统存储系统辅存：实现虚拟存储系统，解决了主存容量不够的问题。存储器的层次结构："从下到上"：外存、辅存、内存、Cache(高速缓存)、寄存器、CPU，成本越来越高，容量越来越小，速度越来越高。内存1. 添加Cache的作用？答：解决主存和CPU之间速度不匹配的问题。辅存中的数据要调入主存中，才能被CPU访问。虽然主存的访问速度已经比辅存高很多，但与CPU相比还是慢的，因此，增加了Cache。2. 存储器的性能指标答：① 存储容量=存储字数*字长；
2023-07-25 17:01:40
231
原创 计算机组成原理问答2
因为在计算机内部，尾数是定点小数，即小数点固定不变，如果让大阶向小阶对齐，"大阶"会出现好几个有效位，需要使小数点固定在好几个有效位后面，用计算机硬件很难实现。每4个对应一个十进制位（共16个，10个有映射关系，6个冗余，因此如果加法执行后结果对应到冗余码时，则需加6（0110）修正<强制向高位进1>），ALU支持同时输入多少比特信息，那么经过处理后输出的数据需要存放在相应的寄存器中，因此ALU能够处理的数据多少位，寄存器也会设计为多少位。短整数变长整数：符号位扩展，负数补1，正数补0，真值不变。
2023-07-24 23:12:16
92
1
原创 计算机组成原理问答1
输入设备（将信息转化为二进制形式）、输出设备（通称I/O设备）、存储器（主存储器存放数据和程序）、运算器（进行算数运算、逻辑运算）、控制器（指挥各部件，使程序运行）。：早期使用纸带机进行编程，如果有一只虫子在上面就会导致纸带机读取的二进制代码出现错误，从而导致程序出错。然后按其在存储器中的首地址执行程序的第一条指令，以后就该程序的规定顺序的执行其他指令，直至程序执行结束。：将源程序的一条语句翻译为对应的机器语言，立即执行，再翻译下一句（响应时间：从输入有效到系统产生响应之间的时间度量，用时间单位度量。
2023-07-24 13:45:06
71
原创 数据结构问答8
基本思想：在[low, high]之间查找目标关键字，每次检查mid=(low+high)/2，根据mid所指元素与目标关键字的大小调整low和high，不断缩小low和high的范围，当low>high时则查找失败。缺点：需确定查找区间，只适用于顺序表，且要保证表的有序性，如果需要插入会和删除需要在顺序表中移动大量元素，所以适合需要少改动经常查找的线性表。：∑pici，pi：查找第i个元素的概率，一般为1/n，ci：找到第i个元素所需进行的关键字的比较次数。：整个查找过程在内存中进行，称之为内查找；
2023-07-22 20:23:31
705
原创 数据结构问答7
1. 图的定义和相关术语答：定义：图是由顶点集V和边集E组成，其中。相关术语：n个顶点，e条边，G=(V，E)中，若存在一条边(i, j)，则称，且它们；在，若存在一条边，则称i，j分别为，j是i的，i是j的。中，顶点所具有的为该；中，以顶点i为该，以其的数为该。一个图中，所有顶点的度之和=边数的两倍。③ 完全图：若无向图中、有向图中每两个顶点之间。④ 稠密图和稀疏图：当一个图时，为；，为。V和E的构成的图。但并非所有V和E的子集都能构成G的（因为不一定构成图）。
2023-07-21 16:59:06
251
原创 BERT精读
pre-training：在一个数据集上训练好一个模型，这个模型主要的目的是用在一个别的任务上面。别的任务如果叫training，那么在大的数据集上训练我这个任务叫做pre-training。NLP任务中使用没有标号的大量数据训练出的模型效果比在有标号的数据上训练效果好，同样的思想，在CV中，可能使用小的没有标签的数据训练的模型比在imagenet上训练的模型效果好。
2023-07-20 21:34:18
222
原创 数据结构问答6
答：递归定义：树是由n个结点组成的有限集合。n=0时，是一颗空树，n>0时，只存在一个结点作为树的根结点，其余结点可分为m个互不相交的有限集，每个子集本身又是一颗符合定义的树，称为根节点的子树。固有特性：一棵树有若干棵互不相交的子树构成，而子树又由更小的若干棵子树构成。特点：一种非线性数据结构，每个结点都可以有0个或多个后继结点，但有且只有一个前驱结点(根节点除外)；
2023-07-20 17:35:52
77
原创 数据结构问答5
答：定义：广义表是线性表的推广，是n个元素的一个有限序列。广义表GL表示与线性表相同若ai是单个数据元素，这称之为广义表的原子；如果是一个广义表，则称之为广义表的一个子集。特性：GL=（a, （b, （c）, （#））），head=a，tail=（（b, （c）, （#）））① 一个广义表中的数据既可以是原子，也可以是子表② 广义表中的数据元素有相对次序，数据元素个数有限③ 其长度定义为最外层包含的元素个数④ 深度定义为所包含的括号的重数，原子深度为0，空表深度为1。
2023-07-20 09:58:28
94
原创 Principle Component Analysis
PCA有两种实现方法：输入：数据集X={x1，x2，...，xn}，需降到k维（1）基于特征值分解协方差矩阵① 去中心化（去均值，即每个特征减去各自的均值）② 计算协方差矩阵1/nX*X^T（1/n不影响特征向量）③ 用特征值分解方法求解②协方差矩阵的特征值与特征向量④ 对特征值从大到小排序，选前k个。将其对应的k个特征向量分别作为行向量组成特征向量矩阵P⑤ 将数据转换到k个特征向量构建的新空间中，即Y=PX（2）基于SVD分解协方差矩阵。
2023-07-19 20:33:38
1074
原创 数据结构问答3
区别：线性表可以在中间和两端任何地方插入和删除元素，而栈只能在同一端插入和删除元素，具有后进先出的特点、队列只允许在一段插入元素，另一端删除元素，具有先进先出的特点。但循环队列中出队元素的空间可能被后来进队的元素覆盖，如果算法要求在队列操作结束后利用进队的所有元素实现某种功能时，此时循环队列就不适合了。答：在实际应用中，一般栈和队列都是用来存放临时数据的，如果先保存的元素先处理，应该采用队列；判满：top==maxsize-1；
2023-07-19 16:41:07
1151
原创 A Gentle Introduction To Graph Neural Networks
基本所有数据都可以表示成一个图，这也使得在图上做优化很难，因为它是一个稀疏架构，每一个结构是动态的，如何在CPU、GPU和加速器上进行计算是一件很难的事。另外，GNN对超参数很敏感，整个网络架构什么样、如何采样和优化这些温特都使得GNN的门槛很高，目前应用较少。GNN：是一个将图的所有属性进行可优化的变换，并保证图的对称性。输入一个图，输出一个图，不改变连接性。route (or pass) information 传递信息。convolutions over images 图像卷积。
2023-07-18 22:40:53
538
原创 数据结构问答2
链表是链式存储结构，逻辑上相邻的两个元素在物理位置上可以不相邻，链表结点除了存储元素本身的数据外，还需要存储一个指向下一个元素的位置数据，程序可以通过该信息访问到下一个元素。对于带头结点的单链表，在单链表的任何节点之前插入或删除节点，都是修改前一个节点的指针域，因为其他节点都有前驱节点（若无头结点，则首节点无前驱节点，在其前插入和删除节点时操作复杂一些），使得算法设计方便。① 由n个数据元素组成的有限序列，所有元素性质相同，元素之间呈线性关系（除开始元素外，每个元素只有唯一前驱；
2023-07-18 18:53:43
971
原创 数据结构问答1
数据元素与数据之间的关系就是元素与集合之间的关系。2.“抽象数据类型”本质是“数据类型”,与计算机相关,涉及数据的存储及如何用存储来反应数据元素之间的关系.它定义为一个三元组（D,S,P）,加上的P是定义的一组针对存储的数据操作（如插入,删除,排序等）.数据类型：是计算机程序中的数据对象以及定义在这个数据对象集合上的一组操作的总称。1.“数据结构”定义为一个二元组（D,S）,即两个集合,D是数据元素的集合,S是数据元素之间一个或多个关系的集合.数据元素是数据的子集，数据包含了数据元素，数据元素组成了数据。
2023-07-18 09:47:27
821
原创 Attention Is All Your Need
注意力机制：注意力函数quary（不同的q） 和 k 的相似度决定了value对应的权重（不同的权重）相加得到 （不同的）输出。
2023-07-17 16:03:36
215
原创 Deep Residual Learning for Image Recognition
从图可以得到的结论：深的网络更难训练 （ 不仅因为过拟合，因为训练时误差都很难降低 ）
2023-07-16 14:50:38
193
原创 深度学习奠基作之一：AlexNet
论文：第一遍（读摘要、结论、图表）第二遍读每一段（方法上的东西）第三遍理解精读（复现）论文第一部分通常是：讲一个故事（即他们在做什么研究？哪个方向？这个方向有什么东西？为什么很重要？主要的贡献是什么？
2023-07-15 18:50:49
537
原创 swin-transformer
通过将图像或文本分割成Token，可以更好地理解和处理图像或文本数据，从而提高计算机视觉任务的性能和效果。swin transformer用CNN的方式去构建网络，用卷积局部化的思想，基于self-attention的方式去搭建网络，实现图像编码。其主要原因在于：transformer的模型结构就导致学习数据非常的难，因此需要更多的hidden layer来学习数据的本质分布。例如，在图像分类或目标检测任务中，可以将图像划分为不同的图像块，并将每个图像块视为一个Token来进行处理。
2023-07-14 10:16:13
3433
原创 self-attention（transformer）
在传统的CNN中，都是对感受野内部的事情进行关联后理解。感受野实际上关乎了模型对全局信息的理解。而本质上，感受野是一种特殊的注意力机制，也就是说感受野是一种受限的、具有特定参数的注意力。之前的内容如DANet，则更加接近广义的注意力机制。在这种机制的作用下，，通过注意力权重矩阵，对图像中全局的信息进行提取和理解。而《attention is all your need》这篇文章中，提出了一种全新的注意力机制，其意义在于：1. 从原理上解释了CNN和RNN的一般形式。
2023-06-21 09:02:45
938
原创 图像生成--对抗生成模型
判别模型的典型代表即为图像分类任务，即给定一个数据，判定他是哪一类。而生成模型的区别在于，给定一个数据，将其生成为预期数据。在数学上，生成模型与判别模型的区别在于：给定观测值x：判别模型旨在判别得到y的概率生成模型旨在根据指定的y得到x的概率。
2023-06-15 19:37:32
1048
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人