- 博客(31)
- 收藏
- 关注
RSS订阅原创 Bert源码（pytorch版本）—— BertSelfAttention
BertSelfAttention1. init函数1）得到3个变量self.num_attention_heads = config.num_attention_headsself.attention_head_size = int(config.hidden_size / config.num_attention_heads)self.all_head_size = self.num_attention_heads * self.attention_head_sizeall_head_si
2022-03-16 19:48:07
1249
原创 Transformer解析
为什么要有Transformer的架构Seq2seq + attention 有2个限制：处理长句子中分散得很远的单词之间的长期依赖关系是一项挑战他是一个单词一个单词顺次输入的，意味着在完成时间步长t-1的计算之前不能进行时间步长t的计算Transformer架构论文attention is all your need的论文中的架构：输入embedding要考虑词序encoder-decoder架构transformer包含一堆编码器和解码器，蓝色部分是 encoder stack
2022-03-13 17:05:38
814
原创 2021年武大CS\南大CS\哈工CS\浙软\西交CS\天大佐治亚CS\中科院信网中心面试经验贴
本人基本情况：学校：中部某985专业：计算机科学与技术英语：四级 620+，六级590+，托福91竞赛：2个国一，1个国二，1个省一，一项省级大创科研：实验室学习半年，进项目组半年，无论文最后上岸：南大其实可以看到我的成绩非常一般，不过在英语，竞赛和科研上成绩都还是不错的。2021年很多学校的保研政策都进行了改动，降低竞赛保研，更加看重绩点排名，所以也许2021年的案例不适用于之后的保研。大家保研一定还是要抓好课内成绩，争取夏令营上岸，排名几乎决定你能不能入营！ 在夏令营阶段，我
2021-10-12 17:19:44
1622
原创 输入输出系统 2--- 中断（未完）
中断源引起中断的事件称为中断源中断系统需要硬件和软件共同来实现。中断源可以来自系统外部，也可以来自机器内部，甚至处理机本身。中断分类由于中断源很多，为了在响应中断后能尽快找到中断入口，就对中断源进行分类方法：为每一类中断源分配一个硬件的中断入口，在进入这个入口之后，再通过软件找到具体的中断源中断优先级如何处理中断中断的处理过程恰当分配中断系统的软硬件功能，是中断系统最关键问题软硬件分配处理中断的因素：...
2020-11-24 15:04:34
474
原创 软件工程 --第七章 -- 实现（未完）
软件测试：40%工作量测试横跨2个阶段：1.在编写出每个模块就要进行必要的测试—编写和单元测试2.对软件系统进行各种综合测试测试的目标：发现软件中的错误软件测试基础软件测试准则pareto原理：80%的错误由20%的程序造成的最佳效果：最大可能性发现错误的测试测试方法黑盒测试 = 功能测试完全不考虑内部的处理方法和结构，只检查功能是不是按说明书正规使用2.白盒测试 = 结构测试知道程序的结构和处理方法，按内部逻辑测试，主要执行通路是不是按说明书执行测试步骤.
2020-11-24 01:05:30
543
原创 输入输出系统1 ----- 特性 输出输出方式
输入输出系统的特点异步IO系统相对于处理机是异步工作的外设通常只要开始和结束时需要处理机干预解决方法：自治控制----即将处理机和外设功能剥离实时对于不同外设需要完成的功能不同，处理机需要对不同速度，不同传输方式（一个字符，多个字符）的外设进行多种相应。如果错过服务时间，则可能丢失数据因此需要多种方式响应。解决方法：将设备按工作方式和工作速度分类，cpu可以通过不同控制对各种设备进行操作。与设备无关什么叫设备无关？计算机系统的输入输出设备种类、型号、规格繁多，所以必须屏蔽设备的
2020-11-23 21:39:11
696
原创 Cache超清晰逻辑详解----不一致性（待更）
文章目录Cache超清晰逻辑详解造成Cache与主存内容不一致的原因主要有两个：cache更新协议中的算法解决Cache不命中的情况：Cache超清晰逻辑详解Cache是在主存和CPU之间设置的一个高速的、容量相对较小的存储器（SRAM）。题外话扯一下SRAM和DRAM的特点：SRAM：断电后会消失，DRAM：刷新，电容，周期性地更新，访问速度较慢，耗电量较大正常情况下，Cache中的内容应该是主存内容的副本，但有时会出现Cache与主存内容不一致的情况，这就是Cache的一致性问题。造成C
2020-11-09 00:41:37
2168
2
原创 Cache超清晰逻辑详解（cache的三种映射）
在说之前要向大家安利一个网站，http://www.ecs.umass.edu/ece/koren/architecture/Cache/tutorial.html，这是马萨诸塞大学安姆斯特分校的体系结构课程的tutorial，能够对cache有更直观的理解。之前课上老师讲的飞快，课后复习压力很大，无意间看了他的tutorial感觉非常有收获，本篇博客基于tutorial，详细说明cache我们知道，存储分层是为了在速度和存储容量上获得最优解，从cache，到主存到辅存，速度上越来越慢，存储容量上越
2020-11-08 23:50:28
8271
4
原创 计算机体系结构目录
文章目录计算机体系结构–第一章1----体系结构的分类计算机体系结构–第一章2–一些指标计算机体系结构–第一章3 – 设计的定量4个原则计算机体系结构–第一章4–计算机体系结构计算机体系结构–第二章—指令系统补充：计算机体系结构----常见英文缩写（待更…）总体待更。。。^ _ ^...
2020-11-05 09:55:21
554
原创 计算机体系结构----常见英文缩写（待更....）
一些需要知道的英文缩写MIPSRISC 精简指令集VLIW 超长指令架构# ISAMIPSRISC 精简指令集跟 Intel X86 这种复杂指令集不一样，RISC 设计了许多特性让代码编写更加便捷，对指令数目和寻址方式都做了精简。促进了MIPS的诞生关键操作：流水线特征：指令长度相同，可以在一个单独操作里完成；CF：CISC（复杂指令集）指令周期不同；CISC需要较多的定址模式；RISC需要ROM空间相对较大；CISC的一条指令RISC要一串指令才能实现，但是RISC比CISC
2020-11-03 14:44:13
1073
转载 linux 文件系统---类型、创建、
Linux 文件系统 -- 简述几种文件类型 文件的权限：以普通文件为例，使用 ls -l 命令，可以看到结果的第一列是 -rwxrwxrwx 的形式，其中第一个字符 “-” 表示这个文件为普通文件，它也可以是其他的字符，不同的字符代表不同类型的文件。其后的一串字符表明了该文件的权限，其中：1）r 表明该文件具有可读权限，若该位置为 "-" ，则表明文件不可读；2）w 表明该文件具有写权限，若该位置为 "-" ，则表明文件不可写；3）x 表明该文件具有可执...
2020-11-03 14:21:44
125
原创 软件工程--第五章-- 总体设计
文章目录设计原理模块化==模块独立性 (最重要的特性)==抽象逐步求精启发式规则图形工具面向数据流的设计方法概要设计说明书系统的总体设计=概要设计/初步设计这个阶段任务：划分出组成系统的物理元素——程序、文件、数据库、人工文档等；设计软件结构，系统之间的模块总体设计主要由两个部分组成：系统设计阶段；结构设计阶段步骤：设计原理模块化含义：每个子模块实现一个子功能依据：一个问题的复杂度 > 将其分解为若干子问题的复杂度每个程序都有一个最适当的模块数量，使得系统开发成本最小。模块
2020-11-03 01:39:49
1002
原创 软件工程---第四章---形式化分析
文章目录非形式化形式化应用形式化的准则有穷状态机Perl网加入禁止线按形式化程度，可以将软件工程使用的方法分为：非形式化用自然语言书写的缺点：矛盾，二义性，含糊性，不完整性形式化优点：应用形式化的准则有穷状态机一种形式化方法用图形表示一个例子：同时也可以用表格表示：有穷状态机可以表现成一个五元组（J,K,T,S,F）格式：当前状态+事件+谓词 ——》下个状态评价：Perl网解决定时问题当每个输入位置所拥有的权标数>=从该位置到转换的线数时，就允许转换
2020-11-03 00:37:40
886
原创 软件工程--第三章--需求分析
文章目录文档研究内容方法：结构化分析法任务系统的综合需求系统的数据需求导出逻辑模型修正系统开发计划获得需求的方法分析建模需求分析的其他图形工具层次方框图Warnier图IPO图需求的正确性要从哪些方面验证文档软件需求规格说明研究内容确定要做什么方法：结构化分析法原则任务系统的综合需求1．功能需求2．性能需求如：相应时间（速度）、主存容量、磁盘容量、安全性、等3. 可靠性和可用性需求4. 出错处理需求系统发现错误时采取的行动，主要在系统关键部分设置。5. 接口需求用户接
2020-10-20 15:10:48
864
原创 LINUX运行等级
转自 https://blog.csdn.net/qq_38293564/article/details/80550594 Linux系统内核创建的第一个进程（称为init进程）来启动系统上所有其他进程。当内核启动时，它会将init进程加载到虚拟内存中。内核在启动任何其他进程时，都会在虚拟内存中给新进程分配一块专有区域来存储该进程用到的数据和代码。Linux系统使用一个表来管理在系统开机时要自启的进程，这.
2020-10-19 12:05:12
662
1
原创 Linux 文件系统初探
文章目录文件系统Linux文件系统标准结构所有分区的含义Linux分区文件系统WindowsLinux分盘，每个驱动器有自己的根目录，形成的是多个树并列的结构。只有一个根目录 / ，所有东西都是从这开始一棵树结构的原因Linux是一个多用户多任务的操作系统。多用户----多个用户可以在同一时间使用计算机系统；多任务----Linux可以同时执行几个任务，它可以在还未执行完一个任务时又执行另一项任务。Linux文件系统标准结构这张图先放这里拜一下，后面指令都用得到在
2020-10-19 11:37:02
88
原创 Shell初探
Shellshell是系统的用户界面，提供用户与内核进行交互操作的一种借口（命令解释器）接受用户输入的指令并把它送入内核去执行BASH：GNU的版本的SHELL问题：脚本语言和普通的编程语言有什么区别？编程语言 “编写-编译-链接-运行”脚本语言是“解释-执行”而非编译一句话描述编译与解释编译 Compile：把整个程序源代码翻译成另外一种代码，然后等待被执行，发生在运行之前，产物是「另一份代码」。解释 Interpret：把程序源代码一行一行的读懂然后执行，发生在运行时，产物是「运行结
2020-10-19 11:31:55
100
原创 计算机体系结构---第二章---指令系统
数据类型e.g. 文件 表 图 树 队列。。。。数据表示：哪些数据类型可以全部用硬件表示指：计算机硬件能够直接识别，可以被指令系统直接调用的数据类型，硬件实现也比较容易的数据类型。e.g. 定点数、逻辑数、浮点数、字符、字符串、堆栈、向量、十进制数确定哪些数据类型用数据表示的原则：时间性能空间性能CPU利用率e.g. 用顶点数据表示浮点运算，指令多cpu与主存的通信量增大，时间加长；浮点数运算虽然硬件复杂度增加，但是浮点数据利用率高时间快对于很复杂的数据类型，用数据表示硬件的代价很大
2020-10-17 17:53:56
839
原创 机器学习-cs229-逻辑回归
文章目录逻辑回归**逻辑回归重新定义代价函数**为什么不用平方损失函数？用极大似然估计的方法总结一下算法：对Jθ求导，推荐博文逻辑回归公式：用g(x)表示z物理意义：对于输入x，输出为y=1的可能性从函数的值的角度：在这里插入图片描述注：这里阈值可以调逻辑回归重新定义代价函数线性回归的代价函数为 :代入到平方代价函数的时候 ,我们得到的代价函数将是一个非凸函数 (non-convexfunction) :这将严重影响梯度下降算法寻找全局最小值所以考虑到 Sigmoid 函
2020-10-16 21:59:09
651
原创 计算机体系结构-- 第一章4--计算机体系结构
目录仿真和模拟非冯诺依曼计算机兼容兼容方法：并行性概念并行性等级提高并行性技术途径时间重叠资源重复资源共享### 一、冯诺依曼机组体系结构1. 组成：计算器、存储器、输入输出设备、存储器存储程序，程序控制解释：程序由指令组成，指令+数据存在存储器中；程序启动后按照逻辑顺序把指令从存储器中读出来执行仿真和模拟仿真：用微程序直接解释另一种指令系统模拟：用机器语言解释实现软件移植（层次高一层）非冯诺依曼计算机从传统指令驱动型改变为数据驱动型兼容系列机的要求：保证向后兼容，力争向上兼容兼容
2020-10-13 14:29:31
207
原创 软件工程--第二章--可行性分析
软件工程第二章—可行性研究我们理解您需要更便捷更高效的工具记录思想，整理笔记、知识，并将其中承载的价值传播给他人，Cmd Markdown 是我们给出的答案 —— 我们为记录思想和分享知识提供更专业的工具。 您可以使用 Cmd Markdown：整理知识，学习笔记发布日记，杂文，所见所想撰写发布技术文稿（代码支持）撰写发布学术论文（LaTeX 公式支持）除了您现在看到的这个 Cmd Markdown 在线版本，您还可以前往以下网址下载：Windows/Mac/Linux 全平台客户
2020-10-13 01:59:24
944
原创 LINUX --基本概念和操作
文章目录Shell文件系统Linux文件系统标准结构在这里插入图片描述linux运行方式linux的运行方式linux虚拟控制台文件类型开机注销关机Shellshell是系统的用户界面，提供用户与内核进行交互操作的一种借口（命令解释器）接受用户输入的指令并把它送入内核去执行BASH：GNU的版本文件系统文件存放在磁盘等存储设备上的组织方法采用统一的树形结构的文件系统在LINUX系统下可以：切换目录设置目录和文件权限设置文件的共享不同文件系统采用不同的方法来管理磁盘空间，各
2020-10-13 01:12:54
110
原创 计算机体系结构第一章2--一些指标
文章目录 系统运行速度-MIPS和MELOPSMIPSMELOPS指标有缺陷的原因基准测试程序和指标系统性能评价的方法多机统性能评价说明：之前针对的都是CPU，针对指令集的，而系统的指令单位为百万以上级别的评价计算机性能的标准：时间通常⽤MIPS和MFLOPS反映系统（CPU）吞吐率 系统运行速度-MIPS和MELOPSMIPS该指标的缺陷：• 只是反映了当前指令系统的前提条件下，指令执⾏的速度，不能反映指令的含⾦量，即不能反映指令系统本身的效率。– 例1：A系统1秒钟执⾏了100条指
2020-10-10 21:43:29
364
原创 计算机体系结构 -- 第一章3 -- 设计的定量4个原则
文章目录体系设计的定量原理加快经常性事件速度Amdahl定律CPU性能公式访问局部性原理体系设计的定量原理加快经常性事件速度可以提高计算机整体性能Amdahl定律系统的某个部件由于采用更快的执行方式后，整个系统的性能提高整体性能 与 这种执行方式的使用频率 or 占总执行时间 的比例有关物理意义：可以告诉我们一项改进措施可以使整个系统的性能提高多少 例题：CPU性能公式一些概念：时钟周期：计算机运行周期，表示程序执行时间每个指令的平均周期数CPI：= CPU时钟周期数目
2020-10-08 21:47:44
1203
原创 计算机体系结构--第一章1----体系结构的分类
@TOC文章目录区别外特性 和 内特性计算机体系结构定义研究计算机系统中软硬件之间的界面定义和其上下的功能分配与逻辑实现基本概念体系结构的分类按照指令流和数据流的多寡，将体系结构分成4种类型SISD（单指令流单数据流）总结区别计算机组成与计算机体系结构1.计算机组成：计算机系统结构的逻辑实现-----怎样实现的2. 计算机体系结构：性能分析，设计，评估-----为什么要这样实现外特性 和 内特性外特性：从程序设计者角度：不需要知道硬件怎么实现的，而是知道功能和结构：例如⑴指令系统⑵数据表
2020-10-08 20:45:26
1238
原创 LINUX前期知识回顾
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1. 计算机硬件的五大单元2. CPU架构1.RISC 精简指令集2.CISC 复杂指令集ATT：计算单位1. 速度单位操作系统1. 计算机硬件的五大单元输入单元：输出单元：CPU：控制单元算术逻辑单元主存储器2. CPU架构1.RISC 精简指令集应用：ARM2.CISC 复杂指令集应用：AMDATT：32位CPU最多读取32位，即4GB左右计算单位1. 速度单位指令周期：MHZ,
2020-10-03 17:17:14
124
原创 软件工程--软件危机-生命周期-软件过程
文章目录软件危机问题现象危机产生的原因途径软件定义特点软件生命周期软件定义时期软件开发时期运行维护软件过程理想瀑布模型实际瀑布模型快速原型模型增量模型风险更大的增量模型螺旋模型喷泉模型软件危机软件危机值在计算机软件的开发和维护过程中所遇到的一系列严重问题。问题1、如何开发软件，增长需求2、如何维护软件现象对软件开发成本和进度估计往往很不准确用户对“已完成“的软件系统不满意的现象经常发生软件产品的质量往往靠不住软件通常没有适当的文档资料软件成本在计算机系统总成本中所占的比例逐年上升
2020-09-29 15:31:29
698
原创 机器学习-cs229-线性回归-泰勒展开法
上一篇说的是梯度下降法，这次说泰勒展开法，用二次曲线来找到极小值点我们为了找到J(0)求导的极小值用二次曲线逼近极小值点，求得二次曲线的极限值对应的f(x)值，直到f(x)收敛为止以上两张图是用二次函数来找极小值点。用二元泰勒公式，hessian函数。评价：不能保证找到最小值点...
2020-09-28 23:50:58
464
原创 计算机体系结构 第一章
为什么要有体系结构这门课位于软硬件分界线与计组的区别：计组弄清怎样实现 ；体系结构弄清为什么要这样实现与数据结构算法的区别：怎么实现 & 为什么要采用这些算法概述系统结构的改进系统效率=min(器件速度）*min（系统结构效率）系统评价内容：价格，性能时间：设计过程中，设计完成后方法：分析、模拟和测量方法原则：定性；定量 （定量更精确）基本特性层次结构 编译与解释的区别编译：全部N+1级指令 —> N级指令解释：一条N+1级指令 —> 一串N级指令
2020-09-22 22:30:05
149
原创 机器学习-cs229-线性回归-梯度下降法
机器学习-cs229-线性回归part one任务：预测房价损失函数cost function线性回归的逻辑：梯度下降法房价函数的梯度下降式子：学习率learning rate：参数 α求J(θ)的极小值方法一：BDG 批量梯度下降，计算整个数据集的梯度方法二：随机梯度下降法任务：预测房价价格= F（面积，床数）目标函数:向量表示:损失函数cost function我们最终确定的线性函数 h(x) 上每个x值对应的 h(x) 值 & 真实的y值之间的差别，而差别我们用平方差来表示
2020-09-18 14:35:27
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人