- 博客(25)
- 收藏
- 关注
RSS订阅原创 Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记
1 Abstract最近在NLP领域，普遍都通过增大神经网络的深度来增强模型的性能和模型容量，然而简单的堆叠神经网络例如在Transformer模型中，会使模型变得难以训练，收敛性会变差并且还会使计算复杂度增高。在本文中，作者认为深度模型难以收敛主要是因为梯度消失现象，而这一现象在Transformer中主要是由于残差链接和层正则化之间的相互影响。在本文中，作者提出了两个方法来解决上述问题：（1） Depth-scaled initialization(DS-Init) 该模型主要通过在初始化阶段减
2020-08-04 14:33:52
587
1
原创 UNIVERSAL TRANSFORMERS读书笔记
ABSTRACT作者提出了一种称为universal transformer(简称UT)的模型，总的来说，该模型就是集合了Transformer和基于RNN结构的神经网络的优点而提出的更加通用的Transformer模型，具体来说它主要结合了这两个模型中的如下优点：UTs combine the parallelizability and global receptive field of feed-forward sequence models like the Transformer with t
2020-08-03 19:06:21
546
原创 C++基础篇（五）--struct关键字加强
C中的struct在C语言中，struct关键字定义了一组变量的集合，但C编译器并不认为这是一个新的数据类型。其具体体现如下：struct teacher{ char name[10]; int age;};int main(){ // 编译不通过 teacher t1; // 必须如下定义 struct teacher t1;}C++中的struct在C++中的struct是一个新类型的定义声明，拿上面的例子来说：struct teacher{ char name[
2020-07-19 09:49:32
249
原创 C++基础篇（四）--C++相对于C语言的实用性加强、register加强、变量检测增强
实用性增强C语言中变量必须被定义在作用域的开始位置C++则更强调语言的实用性，所有的变量可以在需要时再进行定义Register关键字早期的C语言编译器不会对代码进行优化，因此register变量是一个很好的补充。C语言中register关键字意为将变量放入寄存器当中，而在C语言中，无法取得register的地址，即：register int a = 0;//此句报错printf("&a = %x\n",&a);而在C++中，对编译器做了优化，即使不使用register关键字
2020-07-16 10:26:43
223
原创 C++基础篇（三）--命名空间
什么是命名空间在刚开始学C++时，对命名空间甚是迷惑，但写得久了后就当成习惯了，并未探究其本质。命名空间的定义：实际上就是一个由程序设计者命名的内存区域，程序设计者可以根据需要指定一些有名字的空间域，把一些全局实体分别放在各个命名空间中，从而与其他全局实体分隔开来。为何需要命名空间？一个中大型软件往往由多名程序员共同开发，会使用大量的变量和函数，不可避免地会出现变量或函数的命名冲突。当所有人的代码都测试通过，没有问题时，将它们结合到一起就有可能会出现命名冲突。所以需要使用命名空间将变量进行分离，从
2020-07-15 21:01:44
196
原创 C++基础篇（2）--面向过程与面向对象求面积
面向过程求解// 包含C++头文件#include <iostream>// 使用标准命名空间std（在这个空间中定义了很多标准变量）using namespace std;int main(){ double r = 0; double PI = 3.1415926; cout<<"请输入圆形的半径:"<<endl; cin>>r; cout<< PI * r * r<<endl;
2020-07-15 11:50:47
579
原创 C++基础篇--hello world
写在前面的话笔者马上要开始研究生的生涯，虽在大学中参加过不少的比赛，但大多使用java、python或者Matlab，细细一想，自己却连大学的第一门课C++都掌握的不慎熟练，其基本的底层原理与运行方式却都说不清楚，想来十分惭愧，在平时的学习生活中往往只注意了上层框架的使用，而恰恰忽略了最底层原理的使用，从今天开始，笔者决定戒骄戒躁，从hello world入手从新了解学习C++，并立帖为证，希望自己能坚持下去。hello world// 包含C++头文件#include <iostream&g
2020-07-15 11:34:14
184
原创 数据结构-」树状数组
引入笔者在做Leetcode时，遇到了一个较为棘手的题目，其题目描述如下所述：给定一个整数数组 nums，按要求返回一个新数组 counts。数组 counts 有该性质： counts[i] 的值是 nums[i] 右侧小于 nums[i] 的元素的数量。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/count-of-smaller-numbers-after-self著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。
2020-07-12 16:16:39
154
原创 机器学习基础（1）——交叉验证
为何使用交叉验证？交叉验证的提出，主要为解决模型测试集过小而导致模型的泛化误差无法被准确估计的问题。一个小规模的测试集意味着平均测试误差估计的统计不确定性，使得很难判断算法A是 否比算法B在给定的任务上做得更好。解决方案使用交叉验证的思想，增加计算量以近似计算平均测试误差。常用算法K折交叉验证算法其核心思想为：** 将数据集分成k个不重合的子集。测试误差可以估计为k次 计算后的平均测试误差。在第i次测试时，数据的第i个子集用于测试集，其他的数据用于训 练集。**该算法将数据集划分为K个子
2020-05-13 15:49:48
347
原创 ajax流文件无法下载
由于jQuery的ajax函数、及ajaxSubmit等函数的返回类型（dataType）只有xml、text、json、html等类型，没有“流”类型，故我们要实现ajax下载时，不能够使用相应的ajax函数进行文件下载。于是只能使用构建表单的方式进行下载 $('#js-export').click(function () { var allTableData = $...
2019-10-22 14:06:34
353
原创 四、存储器管理问题整理七：什么是基于顺序搜索的动态分区算法？它可以有哪几种？
所谓顺序搜索，指的是依次搜索空闲分区链上的空闲分区，去寻找一个其大小能满足要求的分区。主要包含以下四种：（1）首次适应算法（FF）：FF要求空闲分区链以地址递增的顺序链接，从链首开始查找，直至找到第一个满足要求的分区，然后按照作业的大小，从该分区中划出一片内存空间。若从链首到链尾都找不到一个空闲分区，则分配失败。（2）循环首次适应算法（NF）：为避免低址部分留下许多小的空闲分区，以及减...
2019-06-30 14:29:20
3240
原创 四、存储器管理问题整理六：为什么要引入动态重定位？如何实现？
为了方便对内存进行紧凑，使若干程序从内存某处移至另一处时，不需要对程序进行任何修改。实现方法：为使地址的转换不会影响到指令的执行速度，必须有硬件地址变换机构的支持，在系统中设置一个重定位寄存器，用他来存放程序在内存中的起始地址，在执行时，真正访问的时相对地址与重定位寄存器中的地址相加而形成的。...
2019-06-30 14:03:40
9776
原创 四、存储器管理问题整理五：何谓运行时动态链接，运行时动态链接有何优点？
运行时动态链接：将对某些模块的链接推迟到程序执行时才进行。在执行过程中当发现一个被调用模块尚未装入内存时，立即由操作系统去寻找该模块，并将其装入内存，将其链接到调用者模块上。优点：许多情况下，应用程序在运行时，每次要运行的模块可能是不相同的，但由于事先无法清楚的知道本次要运行哪些模块，所以只能将所有可能运行的模块全部装入内存，并在装入时连接在一起。但在运行时动态链接过程中，在执行过程中都未用到...
2019-06-30 13:37:54
5017
1
原创 四、存储器管理问题整理四：何谓装入时动态链接，装入时动态链接有何优点？
装入时动态链接是指：用户源程序编译后，得到一组目标模块，在装入内存时，采用边装入，边链接的方式。即在装入一个目标模块时，若发生一个外部模事件，将引起装入程序去找出相应的外部目标模块，并将他装入内存。优点主要分为两点：（1）便于修改和更新：对于静态链接，如果需要修改获更新某个目标模块，需要重新打开装入模块，这不仅仅是效率问题，而在很多时候甚至是不可能的。而采用动态链接方式，由于个目标模块是分...
2019-06-30 13:31:24
3292
原创 四、存储器管理问题整理三：何谓静态链接，静态链接时需要注意的两个问题
静态链接：在程序运行之前先将各目标模块以及他们的库函数链接成一个完整的装配模块，以后不再拆开。静态链接需解决以下两个问题：（1）对相对地址进行修改：在由编译产生的目标模块中，使用的都是相对地址，起始地址为0，每个模块中的地址都是相对于起始地址计算的。在链接成一个装入模块后，起始地址变为L而其他地址也要做处相应的改变（L+M）（2）变换外部调用符号：将每个模块中用的外部调用符号也都变换为...
2019-06-30 13:22:10
1892
原创 递归分治：半数集问题
问题描述：给定一个自然数n，由n开始产生半数集set(n)（1）n属于set(n)；（2）在n的左边加上一个自然数，但该自然数不超过最近添加的数的一半；（3）按此规则进行处理，直到不能再添加自然数为止。例如：set（6）= {6，16，26，36，126，136}.。输入：给出整数n输出：set(n)的个数分析：可较容易得出递推关系：f(n) = 1+由此可...
2019-06-30 12:38:26
3319
2
原创 递归分治：选择问题
对于给定该元素的n个元素的数组a[0:n-1]，要从中找出第K小的数问题思路：很容易想到该问题的思路为对该数组进行排序，然后选择第k小，但复杂度较高，即使使用较好的排序方法，算法的时间复杂性也为O（nlogn），本题可借助快速排序的思想进行求解，我们只需要确定该元素是不是第K小即可，无需对整个数组进行排序，选择轴值进行交换，看轴值前的个数是否为K-1个，而无需关心其顺序（因为轴值前的都比轴值小...
2019-06-29 22:16:26
938
原创 四、存储器管理问题整理二：程序装入内存的方式及使用场景
用户程序要在系统中运行，必须先将它装入内存，然后再将其转变为一个可执行的程序，通常经过以下几个步骤：（1）编译：在编译程序对用户源程序进行编译，形成若干个目标模块。（2）链接：由连接程序将编译后的一组目标模块以及他们所需的库函数链接在一起，形成一个完整的装入模块。（3）装入：由装入程序将装入模块装入内存程序的装入分为以下三种方式：一、绝对装入方式编译后产生绝对地址的目标代码...
2019-06-29 18:40:17
3262
原创 存储器管理问题整理一：为什么要配置层次存储器
对于通用计算机而言，存储层次至少应该分为三级：最高层次为CPU寄存器，中间为主存，最底层为辅存。在如今大部分计算机有着更加精细的分级：寄存器，高速缓存，主存储器，磁盘缓存，固定磁盘，可移动存储介质等。在存储结构中，层次越高（靠近cpu），存储介质的访问速度越快，价格也越高，容量越小，反之亦然。寄存器、高速缓存、主存储器和磁盘缓存均属于操作系统的管辖范畴，掉电后信息不在存在；底层次的...
2019-06-29 17:05:49
6445
原创 范数学习总结
L0范数即为非零元素的个数。L0范数表示的是向量中非零元素的个数。L0范数的这个属性，使其非常适用于机器学习中的稀疏编码。在特征选择中，通过最小化L0范数来寻找最少最优的稀疏特征项。但是，L0范数的最小化问题是NP难问题。而L1范数是L0范数的最优凸近似，它比L0范数要更容易求解。因此，优化过程将会被转换为更高维的范数 L1范数L1范数为向量中各个元素绝对值之和，在机器学习...
2018-12-26 21:48:39
354
原创 eventbus无法更新UI的问题解决
今天在使用eventbus进行消息传递时，发现无法进行UI操作 /** * 接收消息,接收方可接受此消息 */ @Subscribe(threadMode = ThreadMode.MAIN) public void MessageEventBus(Teacher teacher) { //显示接受的消息 Log.d("S...
2018-07-31 21:15:37
1433
转载 Session ‘app’: Error Installing APK
今天做项目发现不停的报此错误，心中很是烦闷，从晚上看到了此博文觉得帮助很大，虽然和我最后解决的方法不一样，但感觉是网上叙述最为详细的一篇1.代码正常，build、clean都正常，没有异常错误；2.运行之后，也是能正常弹出手机的SDK型号以及API的版本（本人使用真机[华为]），as提示是否要替代手机当前安装版本，重新安装。 ...
2018-07-31 19:54:54
1245
原创 SSM项目访问404错误
项目使用SSM框架实现CRUD，在写完相关配置文件及控制层后，访问页面一直出现404错误考虑可能出现以下问题1.查看访问地址url有无打错。2.web.xml错误，未正确拦截请求3.servlet的jar包问题，通过build path引入jar包，在libraries选项卡添加外部jar文件，并在order and export选项卡中勾选应用，最后在deployment and...
2018-07-26 08:26:08
4522
原创 c++数据结构一元多项式求和
方法一般，时间复杂度高，请前辈指教首先定义节点类型template<class DataType>struct Node{ DataType data; Node<DataType> *next;};struct elem{ int coef; int exp;};将LinkList的泛型指定为elem，并初始化。（个人小白，能力有限，未能想到好的结构体...
2018-04-18 09:24:02
2642
原创 c++无法访问内存
在用c++写链表实现交并补时总是出现内存无法访问的问题，甚是苦恼，问题出在PrintList()这个函数上，而这个函数本身经调试并没有错误，可以看到下方的指针p内存不合法，也就是访问了非法内存。于是通过断点检查传入参数的地址，发现linkunion方法中调用了Get()方法。void linkUnion(LinkList<int> &a, LinkList<int>...
2018-04-15 17:10:58
3010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人