qq_42901761的博客

原创 Transformer原理及代码注释(Attention is all you need)

Transformer是谷歌针对NLP的机器翻译问题，2017年发表了一篇名为Attention Is All You Need 的论文中提出的模型。Transformer采用了机器翻译中通用的encoder-decoder模型，但摒弃了以往模块内部的RNN模型，只是完全依赖注意力机制来构建模型。其优点有以下几点：结构简单，抛弃RNN模型的优点在于没有了时序的限制，RNN限制了数据必须按照输入...

原创 CRF 条件随机场 总结 模型讲解 | pytorch 代码注释 | NCRF++笔记

原创 GLMP 代码 详细注释

GLOBAL-TO-LOCAL MEMORY POINTER NETWORKS FOR TASK-ORIENTED DIALOGUE学习笔记文章目录GLOBAL-TO-LOCAL MEMORY POINTER NETWORKS FOR TASK-ORIENTED DIALOGUE学习笔记一、摘要二、模型2.1 模型简介2.2 全局内存编码器2.3 外部知识库2.3.1 外部知识库模型简介2.3...

原创 Text LSTM 学习笔记

LSTM，全程为Long Short-Term Memory(长短期记忆），是RNN（循环神经网络）的一种变体，它对RNN进行了改进并有效避免了常规RNN网络的梯度消失问题。由于是对RNN网络的改进，所以它的框架跟RNN是相同的，只是隐藏层的比RNN网络复杂了很多。虽然同组的同学写了关于RNN的笔记，但是不妨先复习一下：基本架构（RNN与LSTM相同）RNN有着神经网络很基本的结构，输入层（...

原创 JabRef main函数 注释

/** * JabRef MainClass */public class JabRefMain extends Application { /* Application类Life-cycle : The entry point for JavaFX applications is the Application class. The JavaFX runtime does the ...

原创 LINUX命令常用 备忘

//安装包安装并解决依赖问题sudo dpkg -i xxx.debsudo apt-get install -f//切换显卡prime-select intel~$ prime-select nvidiaprime-select intel~$ prime-select intel

原创 Bag of Tricks for Efficient Text Classification (fastText) 学习笔记

fastText 的原理分析和使用笔记

原创 Junit：@Test @Before @After 测试函数的执行次序

在某节课的选择题中看到了这个思考题，觉得还蛮有意义的就记录下来了：在同一个Java测试类之中多个@Test函数的执行次序并非按照我们书写函数的方式执行的，而且Junit对于@Before和@After的执行次序也是有特定规约的。首先是@Test函数的执行次序问题：test函数的默认顺序是按照方法名的hashcode()值的排序来决定的，如果hashcode计算值相同，就按照字典序排列。由于...

原创 软件构造复习 第1-2章

软件构造的多维度视图：软件构造的阶段划分和各阶段的构造活动在1-1PPT中有详细描述，简略的已经在图上了。内、外部的质量指标外部质量取决于内部质量外部质量指标：正确性：至高无上的质量指标；通过测试和调试、防御式编程，形式化方法来达成正确性；健壮性：针对异常情况的处理；是对正确性的补充；可扩展性可复用性兼容性性能可移植性易用性功能性及时性内部质量指标：可读性，...

原创 github 超过100M无法提交问题（SC实验五遇到的锅）

软件构造实验五测试大文件读入的时候，log就存了巨多……导致某次提交的时候，log文件超过了100M，然后令人悲伤的故事就发生了（由于我的log文件是从第一次提交就存在的，所以只是删除文件再提交是没有用的，翻了翻博客发现有个比较可行的解决方案，但是博客的情况跟我又有些不同，所以我就又默默地把插件的文档看了看。解决之后就想反正文档都看了不如写成博客供我以后万一再出事故的不时之需（大雾首先到这个网...

原创 哥伦比亚大学Collins-NLP第七周5-8

7.5-6 Definition of Log-Linear Models前几节我们介绍了Log-linear模型的特征参数（feature），接下来我们就来看一下Log-linear模型的定义：首先我们还是要从特征参数开始，一般我们会设定一个在0,1之间的参数值，比如语言模型中我们就有这样一系列参数：那么如何综合地评估多个向量呢？我们定义了一个像分数的东西v⋅f(x,y)v·f(x,y)...

原创 哥伦比亚大学NLP Collins第三周13-16笔记

3.11-3.13 PCFG的基本介绍继上一节我们介绍完PCFG的基本组成之后，我们来讨论一下如何得到文法计算所需的概率：Penn WSJ Treebank 基本是最早的句法树的统计数据了，但到今天为止，已经有很多很多关于此的统计数据了。那么如何从一个Treebank得出一个PCFG呢：首先我们需要学习两种变量：第一个是规则，比如从S->NP VP;第二个是概率，比如α(S−&...

原创 哥伦比亚大学NLP Collins第五周5-9笔记

5.4-5.5 Classical Approaches to MT上一节5.4我们讲了关于Transfer-Based Approaches，这节课我们来介绍另一个叫做Interlingua-Based Translation的翻译方法。如果将翻译过程比作一个金字塔，那么我们可以得到如图：上节课所讲的三个过程是比较低端的过程：从分析开始，经过翻译，再到组织语句输出。而这节课将要介绍的I...

原创 哥伦比亚NLP笔记第一周#1-5

第一周 1.1-2 Introduction这两节课主要解释了三个问题：什么是自然语言处理；自然语言处理为什么如此困难；这个课程的主要内容是什么？什么是自然语言处理？自然语言处理关心的是如何利用计算机处理人类语言或者自然语言。一方面，我们称之为自然语言理解：我们将文本输入计算机，让它去处理文本从而获得有价值的信息；另一方面我们称之为自然语言生成，机器生成一种与人类沟通的语言。NLP一个比...

原创 哥伦比亚NLP第二周#5-8

模型的解码-维特比算法把模型的参数估计完成之后，下一步要做的就是计算出y=argmaxp(y∣x)y = argmax p(y|x)y=argmaxp(y∣x)。最顺理成章的想法是算出所有可能的y的条件概率，找到概率最大的那个。但暴力枚举的时间复杂度太大了，因此我们就采用了维特比算法-一个动态规划求最可能路径的算法。首先描述一下我们的问题：对于一个输入序列x1,x2,x3……xnx_1,x_...

原创 序列模型 第二周1-5笔记

2.1 词汇表征上周我们学习的词汇表示方法虽然能很准确地表示词汇，但这种表示方法把每个词都孤立起来，比如如果我们输入的是一个句子，上周我们所讲的方法虽然保存了词汇，但并不对矩形或者短语词汇之间进行表征和研究，算法对于相关词的泛化能力也不强。所以这一节我们来讲一个全新的方法：词嵌入。原因：如果用上周所讲的向量表示方法来计算词向量与词向量之间的关系的话，任何两个词之间的内积都是0，所有词的距离都...

原创 卷积神经网络 第四周1-5 笔记

4.1 什么是人脸识别

原创 卷积神经网络 第二周1-5 笔记

1.1 为什么要进行实例探究一些卷积神经网络的实例分析是很有必要的，因为为研究找感觉的最好方法就是去看一些实例研究，就像很多人通过看大佬的代码来学习编程一样，我们学习卷积神经网络也可以从看一些实际而经典的例子开始；其次，实践证明，在计算机视觉任务中表现很好的神经网络框架往往也适用于其他任务。也就是说，如果有人已经训练出来擅长计算识别猫、狗、人的神经网络或者神经网络框架，而你的任务是构建一个自动驾...

原创 结构化机器学习项目第二周1-5笔记

2.1 进行误差分析如果你人工查出了错误，是否应该进行相应方向的单独努力？举例：如果你发现你的猫分类器会把狗认成猫，是否应该花几个月时间去做一个项目区分是否是狗，然后应用到这个项目中？首先收集一下错误的开发集例子，然后手动检查你的开发集里有多少错误标记是狗。假设你的错误例子中只有百分之五是狗，所以即便你花了几个月时间，也只是让你的错误率下调百分之五。或者也许应该花时间，但至少这个分析给出了一...

原创 DEEPLEARNING.AI第二门第三周1-5笔记

3.1 调试处理（Tuning process）目前为止，我们已经了解到：神经网络的改变会涉及到许多不同超参数的设置。对于超参数而言，你要如何找到一套好的设定呢？在视频中，老师分享了一些指导原则，一些关于如何系统地组织超参调试过程的技巧，希望这些能够帮你更有效地完成合适的超参设定。关于训练深度最难的事情之一是要处理的参数的数量非常多，从学习速率α\alphaα到Momentum（动量梯度下降...

原创 Deeplearning.ai第二门课第一周11-14笔记

1.11 神经网络的权重初始化神经网络的参数初始化是很重要的一项能力，为了更好地理解它，我们首先举一个例子来说明它。我们来看看只有一个神经元的状况。首先来看它的结构，输入有四个单元，输出y^\hat{y}y^​,而这里， z=w1x1+w2x2+…………+wnxn\ z=w_1x_1+w_2x_2+…………+w_nx_n z=w1​x1​+w2​x2​+…………+wn​...

原创 Deeplearning.ai 第四周1-4 笔记

由于这一门课要在本周就结束了，所以这一周的视频都非常的简短，以便于后面大作业的完成。4.1 深层神经网络这一节主要介绍了如何描述神经网络的种类和各个部分。首先，什么是深层神经网络？单隐层神经网络我们上一周已经见到过了，而深层这个形容词，就是特指层数多的神经网络了。图中第一个是单隐层网络，而后是双隐层网络，以及...

原创 DEEPLREARNING.Ai-2.11~14 笔记

向量化什么是向量化（Vectorization）在上一次我们讲述逻辑回归时，曾经提到要计算表达式Z=W