- 博客(68)
- 收藏
- 关注
RSS订阅原创 NAS论文阅读小记一
NAS综述神经架构搜索(NAS)是自动化神经网络架构设计的过程，因此是机器学习自动化的下一步。NAS可以被视为AutoML的子域，并且与超参数优化和元学习具有显着的重叠。可以根据搜索空间、搜索策略和性能评估策略三个维度对NAS的方法进行分类：搜索空间搜索空间定义了原则上可以表示哪些神经网络结构。结合非常适合某一任务的先验知识可以减小搜索空间的大小并简化搜索。但是，这也引入了人为偏见，这可能会阻止寻找超越当前人类知识的新颖的网络结构部件。链式神经网络的搜索空间。
2023-01-09 18:32:46
512
原创 Towards a Unified View of Parameter-Efficient Transfer Learning
并联比串联好；通常情况下，feedforward比attention好，而在只调整0.1%参数的情况下，multihead attn比ffn好；Composition的对比实验这里没有展开，实际上作者也做了，并发现LoRA的设计是比较好的，简单且效果好，Prefix tuning的线性插值是比较复杂的。...
2022-08-06 22:48:49
614
原创 BERT 详解
BERT全称为，是Google以无监督的方式利用大量无标注文本「炼成」的语言模型，其架构为Transformer中的Encoder（BERT=EncoderofTransformer）以往为了解决不同的NLP任务，我们会为该任务设计一个最合适的神经网络架构并做训练，以下是一些简单的例子不同的NLP任务通常需要不同的模型，而设计这些模型并测试其performance是非常耗成本的（人力，时间，计算资源）。如果有一个能直接处理各式NLP任务的通用架构该有多好？......
2022-07-17 18:54:57
1699
原创 【Transformer】李沐论文逐段精读学习笔记
贡献：网络简单，且跟之前的网络结构都不一样，不使用rnn或cnn的单元。并行度更好，训练快很多。在机器翻译上取得了更好的效果。本文提出的Transformer是第一个纯基于attention的序列转录模型，使用multi-head self-attention替代了之前的rnn结构。在机器翻译上，比RNN和CNN都要快，还取得了新的SOTA。介绍了传统的RNN，CNN以及encoder-decoder架构。分析了RNN的缺点：难以并行。容易遗忘。再介绍了attention机制。最后提出了一个全新的架构Tra
2022-07-10 18:08:07
1735
原创 【计算机复试】计算机组成原理/操作系统模块复习
研究生复试巩固计组中断有几种b/s和c/s的区别五种CPU与外设交换方式南桥北桥cache有几种映射方式CPU有几种设计方式并行通信和串行通信什么是RISC和CISC，他们的区别和特点CPU和外设的通信方式，其中输入输出处理机的方式和其作用再哪些地方，并行接口和串行接口什么是内组件、什么是外组件简述处理机管理、文件管理介绍一下实时操作系统和分时操作系统说一下并行和串行自己给自己出题目参考《深入理解计算机系统》中断有几种外中断异常陷入中断的过程，描述一下中断这里是引用
2022-04-04 12:54:31
913
原创 【计算机复试】编译原理模块复习
研究生复试巩固编译原理语法分析器构造原理编译过程分为哪几个阶段，其中那些阶段是必不可少的自己给自己出题目语法分析器构造原理语法分析器会构造一棵语法分析树，并把它传递给编译器的其他部分进一步处理，在构建语法分析树的过程中，就验证了这个词素序列是否符合源语言的文法自顶向下分析实质：寻找从开始符号出发到句子的推导序列自底向上分析实质：寻找从句子出发到开始符号的归约序列编译过程分为哪几个阶段，其中那些阶段是必不可少的词法分析语法分析语义分析中间代码生成代码优化目标代码生成
2022-04-01 19:10:04
239
原创 【面向对象的本质】
什么是面向对象的本质万物皆对象？No 抽象？No 复用？No那到底是什么呢？万物皆对象。问了几位网友，这是答复之一。看到了某个事物就来一个class？显然没有那么简单。至少也要抽象一下呀。抽象。比如一些文章里说，可以根据猫猫、狗狗抽象出来一个Animal出来，然后定义Cat，继承Animal，在定义Dog，也是继承Animal。抽象就是本质了吗？那么为什么要抽象，而不直接定义Cat、Dog呢？这么“折腾”一下的目的是什么呢？或者说有什么好处？复用。Cat可以复用Animal里的属性、方法等
2022-03-31 16:10:14
290
原创 【计算机复试英语】
复试英语自我介绍自我介绍Good morning, dear professors! It’s my great honor here for this interview. My name is , 21 years old and I come from Wenzhou. I majored in Computer Science and Technology in Hangzhou Dianzi University. Now I will introduce myself
2022-03-14 16:49:14
231
原创 【计算机复试】数据库模块复习
研究生复试巩固数据库ER图转换原则数据库并发机制建立数据库的流程数据库范式数据库完整性数据库的索引数据库的视图SQL哪些语句数据库有哪些操作语句数据库delete和drop的作用数据库触发器数据库的三级模式和两级映像数据库死锁主键和外键数据库DBA、DBMS的作用用户能不能对数据库进行增删改查数据库的存储过程一条sql语句如何执行数据库的事务数据库中怎么消除冗余，举个例子数据库的ACID特性，什么是数据库一致数据库了解哪些系统自己给自己出题目参考《数据库系统概论(原书第6版)》github.com/
2022-03-10 15:29:29
898
转载 【侄子的开学之路】
侄子的开学之路侵删文 | 专三千现在想来，在开学这件事情上，我对侄子可能有些过于残酷。当他得知自己只有一周就要开学时，他正在鸟巢前的广场上飞奔。这是他第二次来北京，我决定带他去一些方便回学校跟同学“炫耀”的地方。我对他说：“一周后开学回老家，你可以告诉大家你来过鸟巢。”他假装没听到，二年级的小孩很擅长过滤自己不想听到的信息，但不擅长伪装。他原本前后自然摆动的手现在用力攥着裤子。吃冰糖葫芦的时候他问我：“我是不是要坐火车回去了。”我说：“是的。”从老家到北京的火车，摇摇晃晃22个小时，我
2022-03-08 11:35:03
130
原创 【计算机复试】数据结构模块复习
研究生复试巩固数据结构线性存储和链式存储优缺点比较最小生成树两种算法优缺点比较hash函数的特点以及如何处理冲突排序算法有哪些，及其时间复杂度怎么确定是一个环简述以下线索二叉树汉罗塔图的存储自己给自己出题目参考《大话数据结构》线性存储和链式存储优缺点比较线性表的存储结构，优缺点顺序表读取O(1)插入O(n)删除O(n)查找O(n) / O(log2n)O( log^{n}_{2})O(log2n)随机访问，通过首地址和元素序号可在O(1)内找到指定的元素存储
2022-03-07 16:41:20
287
原创 【计算机复试】软件工程模块复习
研究生复试巩固软件生命周期瀑布模型喷泉模型增量模型模块的概念模块间耦合度区分模块的要素是什么软件的设计模式IPO图、层次图、DFD图等的使用阶段，作用，描述CMM黑盒白盒自己给自己出题目参考《人月神话》《软件工程》软件生命周期问题定义与可行性研究需求分析软件设计编码测试运行和维护瀑布模型最早强调软件或系统开发应有完整之周期，且必须完整的经历周期之每一开发阶段，并系统化的考量分析与设计的技术、时间与资源之投入等。强调系统开发过程需有完整的规划、分析、设计、测试及文件等管理
2022-03-06 16:26:53
465
1
原创 【计算机复试】计算机网络模块复习
研究生复试巩固TCP/IP 位于哪一层UDP有哪些应用计算机网络中有哪些流量控制，缓存满了怎么调度子网掩码的作用交换机、路由器和集线器的区别自己给自己出题目TCP/IP 位于哪一层TCP/IP 有几层，为什么没有物理层四层，应用层、TCP/UDP、IP、网络接口层因为数据链路层和物理层合并为网络接口层TCP和UDP有什么区别UDP：无连接，尽最大可能交付，没有拥塞控制，面向报文，支持一对一、一对多、多对多，首部只有8个字节TCP：面向连接，提供可靠交付，有流量控制，拥塞
2022-03-06 12:21:38
1097
原创 天勤2022数据结构（七）排序
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档天勤2022数据结构（七）排序前言一、基础算法二、综合应用题总结前言typedef struct BTNode{ char data; struct BTNode *lchild; struct BTNode *rchild;}BTNode; typedef struct TBTNode{ char data; int ltag, rtag; struct TBTNode *lchild; struct TBTNo
2021-05-10 16:19:32
719
3
原创 天勤2022数据结构（六）图
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档天勤2022数据结构（六）图前言一、基础算法例题二、综合应用题总结前言邻接矩阵typedef struct{ int no; 顶点编号 char info;}VertexType; typedef struct{ int edges[maxSize][maxSize]; int n, e; 顶点数，边数 VertexType[maxSize];}MGraph;邻接表typedef struct ArcNod
2021-04-28 21:46:08
948
原创 天勤2022数据结构（五）树与二叉树
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、综合应用题总结前言提示：这里可以添加本文要记录的大概内容：typedef struct{}BTNode; 提示：以下是本篇文章正文内容，下面案例可供参考一、综合应用题设二叉树根结点所在层次为1，树的深度d为距离根最远的叶结点所在的层次试精确给出深度为d的完全二叉树的不同二叉树棵数2(d−1)2^{(d-1)}2(d−1)试精确给出深度为d的满二叉树的不同二叉树棵数1
2021-04-21 19:37:00
339
原创 天勤2022数据结构（四）数组、矩阵与广义表
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、综合应用题总结前言提示：这里可以添加本文要记录的大概内容：提示：以下是本篇文章正文内容，下面案例可供参考一、综合应用题设数组A［0，…，n－1］的n个元素中有多个零元素，设计一个算法，将A中所有的非零元素依次移动到A数组的前端void move(int A[], int n){ int i = -1, j, temp; for(j = 0; j<n; j++){ if(A[j] != 0)
2021-04-13 19:12:12
526
原创 天勤2022数据结构（三）串
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言基本操作一、总结前言定长顺序存储typedef struct{ char str[maxSize+1]; int length;}Str;变长分配存储typedef struct{ char* ch; int length;}Str;基本操作赋值int strcpy(Str& str, char* ch){ if(str.ch){ free(str.ch); } int l
2021-03-29 21:07:41
511
转载 Leetcode 82. 删除排序链表中的重复元素 II
删除排序链表中的重复元素 II存在一个按升序排列的链表，给你这个链表的头节点 head ，请你删除链表中所有存在数字重复情况的节点，只保留原始链表中 没有重复出现 的数字。返回同样按升序排列的结果链表。示例1：输入：head = [1,2,3,3,4,4,5]输出：[1,2,5]示例2：输入：head = [1,1,1,2,3]输出：[2,3]提示：链表中节点数目在范围 [0, 300] 内-100 <= Node.val <= 100题目数据保证链表已经按
2021-03-25 21:31:15
88
原创 天勤2022数据结构（二）栈和队列
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、顺序栈操作二、链栈2.读入数据总结前言顺序栈typedef struct{ int top; int data[maxSize]; }SqStack;链栈结点typedef struct LNode{ int data; struct LNode *next;}LNode;顺序队列typedef struct{ int front; int rear; int data[maxSize]
2021-03-24 21:23:06
556
原创 天勤2022数据结构（一）线性表
天勤2022数据结构（一）线性表前言一、基础题二、使用步骤1.引入库2.读入数据总结前言提示：全文为作者手打，仅供个人复习使用一、基础题线性表可用顺序表和链表存储，试问：如果有n个表同时并存，并且在处理过程中各表的长度会动态发生变化，表的总数也可能自动改变，在此情况下，应选用哪种存储表示？为什么？用链表。如果采用顺序表，在多个表并存的情况下，一旦发现某个表有存满并溢出的情况，很可能若表的总数基本稳定，且很少进行插入和删除但要求以最快的速度存取表中的元素，这时用哪种存储表示？为
2021-03-16 20:18:17
2350
1
转载 排序Java实现
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档排序前言一、归并排序二、堆排序三、快速排序四、插入排序五、选择排序六、冒泡排序前言一、归并排序class Solution { private int[] assist; private static final int INSERTION_SORT_THRESHOLD = 47; public int[] sortArray(int[] nums) { assist = new int[n
2021-03-10 23:57:58
54
转载 并查集 按治排序模板
并查集 按治排序模板class UnionFind { int count; int[] parent; int[] rank; public UnionFind(char[][] grid) { count = 0; int m = grid.length; int n = grid[0].length; parent = new int[m
2021-02-28 21:21:52
52
原创 滴滴面经1
滴滴面经11. synchronized底层实现与Lock / ReentrantLock 的区别2. 往map里插入一个student，修改这个student的name属性，是否还能get到3. 常量池4. 如何缓解哈希碰撞5. TCP、HTTP协议参考牛客面经问题1. synchronized底层实现–Java 早期版本中synchronized属于重量级锁，效率低下synchronized 同步语句块的实现使用的是 monitorenter 和 monitorexit 指令，其中 mo
2021-01-17 13:45:47
179
原创 书面作业：文件系统1
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录在某个文件系统中，每个盘块为512个字节，文件控制块占64个字节，其中文件名占8个字节。如果索引节点编号占2个字节，对一个存放在磁盘上256个目录项的目录，试着比较引入索引节点前后，为找到其中一个文件的FCB，平均启动磁盘的次数。引入inode之前：FCB占用块数：256 * 64 / 512 = 32平均启动磁盘的次数： （1 + 32）/ 2 = 16.5引入inode之后：FCB占用块数：256 * (
2021-01-05 19:49:10
9652
10
原创 书面作业：文件系统2
提示：HDU OS文章目录在UNIX系统中有空闲盘块栈如下图所示：（1）现有一个进程要释放3个物理块，其块号为156＃、160＃、220＃，画出空闲盘块栈的变化。释放 156＃释放 160＃释放 220＃， 将空闲盘块栈内容存入空闲块 220 中，空闲盘块栈变为：（2）在（1）的基础上假定一个进程要求分配5个空闲块，请说明进程所分配到的盘块的盘块号，并画出分配后的空闲盘块栈。220 -> 160 -> 156 -> 201 -> 151
2021-01-05 19:48:57
2519
1
转载 计算机网络自顶向下方法--运输层
复习题R1. 假定网络层提供了下列服务。源主机中的网络层接受最大长度为1200字节和来自运输层的目的主机地址的报文端。网络层则保证将报文段交付给位于目的主机的运输层。假定在目的主机上能够运行许多网络应用进程。a.设计最简单的运输层协议，该协议将使应用程序数据到达目的主机上所希望的进程。假设目的主机中的操作系统已经为每个运行的应用进程分配一个4字节的端口号。b.修改这个协议，使它向目的进程提供一个“返回地址”。c.在你的协议中，该运输层在计算机网络核心中“什么也不做”吗？a.首先，要有一个进程-端
2021-01-03 16:14:55
1807
转载 计算机网络自顶向下方法--应用层
复习题R1.列出5种非专用的因特网应用以及它们所使用的应用层协议。应用协议The WebHTTPfile transferFTPremote loginTelnetNetwork NewsNNTPEmailSMTPR2.网络体系结构与应用程序体系结构之间有什么区别？网络体系结构是指以分层的方式来描述通信过程的组织体系。(例如五层网络结构)；另一方面，应用体系结构是由应用程序的研发者设计，并规定应用程序的主要结构(例如 客户机/服务器或 P2P
2021-01-03 15:58:16
1288
转载 计算机网络自顶向下方法--计算机网络和因特网
复习题R1.主机和端系统之间有什么不同？列举几种不同的端系统。Web服务器是一种端系统吗？没有不同。主机和端系统可以互换。端系统包括 PC，工作站，WEB 服务器，邮件服务器，网络连接的 PDA，网络电视等。Web服务器是端系统。R2.协议一词常被用于描述外交关系。维基百科是怎样描述外交协议的？假设爱丽丝是国家 A 的大使，想邀请国家 B 的大使鲍勃吃晚餐。爱丽丝没有简单的打个电话说“现在我没一起 吃晚餐吧”。而是她先打电话给鲍勃建议吃饭的日期与时间。鲍勃可能会回复说那天不行，另外一天可以。爱
2021-01-03 15:54:45
800
转载 计算机网络自顶向下方法--网络层
复习题R1. 我们回顾一下本书中使用的某些术语。前面讲过，运输层的分组名称是报文段，数据链路层的分组名字是帧。网络层的分组名字是什么？前面讲过，路由器和链路层交换机都称为分组交换机。路由器和链路层交换机间的根本区别是什么？回想我们对数据报网络和虚电路网络都使用术语路由器。网络层的分组名字叫做数据报。路由器和链路层交换机间的根本区别：路由器是基于网络层字段中的值做决定，而链路层交换机是根据链路层字段中的值做转发决定。R2. 在数据报网络中，网络层最重要的两个功能是什么？在虚电路网络中，网络层的3个
2021-01-03 15:48:21
1618
原创 计算机网络自学笔记 网络层
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档计算机网络自学笔记 网络层前言一、1( 3分 )二、2( 2分 )前言提示：以下是本篇文章正文内容，下面案例可供参考一、1( 3分 )为什么采用层次路由系统？规模。随着路由器数目变得很大，涉及路由选择信息的通信、计算和存储的开销将高的不可实现。必须采取措施以减少像因特网这种大型网络中的路由计算的复杂性。管理自治。因特网是ISP的网络，每个ISP都有自己的路由器网络。ISP希望在自己的网络中允许它所选择的某种路由选择算法，或
2021-01-03 15:44:13
421
2
原创 七周七并发 线程与锁 第三天
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2020-12-12 16:27:58
130
原创 计算机网络自学笔记 传输层
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档计算机网络自学笔记 传输层前言一、1( 3分 )简析TCP连接建立的基本过程。二、2( 2分 )前言提示：以下是本篇文章正文内容，下面案例可供参考一、1( 3分 )简析TCP连接建立的基本过程。客户首先向服务器发送一个特殊的TCP报文段服务器用另一个特殊的TCP报文段来响应客户再用第三个特殊的报文段作为响应前两个报文段不承载“有效载荷”，也就是不包含应用层数据而第三个报文段可以承载有效载荷二、2(
2020-12-12 14:09:38
410
原创 位示图模拟操作
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言某磁盘有64个磁盘块，使用一个8×8的位示图表示磁盘块使用情况。假设位示图的行列编号都是从1开始，磁盘块的编号也从1开始。以下是位示图初始状态。+ 1 2 3 4 5 6 7 81 1 1 0 0 0 1 1 12 0 0 1 0 0 1 1 03 0 0 0 1 1 1
2020-12-09 16:09:23
1138
2
原创 Leetcode 307. 区域和检索 - 数组可修改 树状数组 Java
Leetcode 307. 区域和检索 - 数组可修改 树状数组 Java树状数组lowbit前缀和单点更新 更新后缀和代码树状数组C[i]代表子树的叶子节点的权值之和：C[1]=A[1];C[2]=A[1]+A[2];C[3]=A[3];C[4]=A[1]+A[2]+A[3]+A[4];C[5]=A[5];C[6]=A[5]+A[6];C[7]=A[7];C[8]=A[1]+A[2]+A[3]+A[4]+A[5]+A[6]+A[7]+A[8];将C数组的下标i转化成二进制：1=(
2020-12-03 15:36:47
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人