![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 91
Q同学的nlp笔记
深度解读最新NLP论文,关注技术动态,分享NLP在各行各业的应用见解。
展开
-
Text2SQL学习整理(一) 综述
Text2SQL是近年来NLP领域一个比较热门的研究方向,该任务历史悠久,应用和落地性很强。该任务是在已知数据库的表名、列名其从属关系(这些统称为数据库的Schema)的前提下,将人类的自然语言问句(Question)转化为对应的数据库查询SQL语句。原创 2023-12-17 12:10:54 · 1430 阅读 · 1 评论 -
论文笔记:CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers
对于多轮的Text-to-SQL任务,现有的方法通常专注于充分利用历史上下文或以前预测的SQL来进行当前的SQL解析,而忽略了显式地理解模式和会话依赖关系,如共同引用、省略和用户焦点变化。而这些则是多轮Text-to-SQL中最复杂的挑战,下图1展示了关于这些语言现象的示例:之前的工作大都是简单的将多轮中的各个句子进行拼接(下图2a),就得到了不错的效果,但这些端到端的方法缺乏对这些上下文依赖现象的关注。原创 2023-03-24 22:46:43 · 617 阅读 · 4 评论 -
Huggingface Trainer报错RuntimeError: Expected all tensors to be on the same device
Huggingface Trainer报错RuntimeError: Expected all tensors to be on the same device原创 2023-01-30 13:16:13 · 893 阅读 · 0 评论 -
论文笔记:HIE-SQL:History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
论文笔记:HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing目录论文笔记:HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing导语摘要1 简介2 相关工作3 HIE-SQL3.1 预备知识3.2 Multimodal Encod原创 2022-04-24 15:59:15 · 873 阅读 · 0 评论 -
论文笔记:Pay More Attention to History: A Context Modeling Strategy for Conversational Text-to-SQL
论文笔记:Pay More Attention to History: A Context Modeling Strategy for Conversational Text-to-SQL目录论文笔记:Pay More Attention to History: A Context Modeling Strategy for Conversational Text-to-SQL导语摘要关键词1 简介2 相关工作2.1 语义解析和Text-to-SQL任务2.2 多轮对话Text-to-SQL3 问题定义4原创 2022-04-23 22:10:16 · 433 阅读 · 0 评论 -
论文笔记:SCORE: Pre-training for Context Representation in Conversational Semantic Parsing
论文笔记:SCORE: Pre-training for Context Representation in Conversational Semantic Parsing目录论文笔记:SCORE: Pre-training for Context Representation in Conversational Semantic Parsing导语导语摘要1 简介2 方法2.1 预备知识2.2 SCORE的预训练2.3 数据合成3&4 实验与分析整体结果不同预训练目标函数的差异不同轮次之间的效果原创 2022-04-23 20:10:21 · 1635 阅读 · 0 评论 -
论文笔记:An Interactive NL2SQL Approach with Reuse Strategy
论文笔记:An Interactive NL2SQL Approach with Reuse Strategy目录论文笔记:An Interactive NL2SQL Approach with Reuse Strategy导语摘要关键词1 简介2 相关工作3 方法3.1 任务定义3.2 Tree-SQL3.3 基本模型3.4 利用重用机制进行优化导语会议:DASFAA 2021地址:https://link.springer.com/chapter/10.1007/978-3-030-73197原创 2022-04-23 12:57:09 · 944 阅读 · 0 评论 -
论文笔记:Structure-Grounded Pretraining for Text-to-SQL
论文笔记:Structure-Grounded Pretraining for Text-to-SQL目录论文笔记:Structure-Grounded Pretraining for Text-to-SQL导语导语摘要1 简介2 相关工作跨数据库的Text-to-SQLText-Table数据的预训练Text-to-SQL中的结构对齐3 结构对齐的预训练(Structure-Grounded Pretraining)3.1 动机3.2 预训练的目标列对齐值对齐列-值映射3.3 通过弱监督获取预训练数据4原创 2022-04-22 09:26:40 · 734 阅读 · 1 评论 -
论文笔记:GRAPPA: GRAMMAR-AUGMENTED PRE-TRAINING FOR TABLE SEMANTIC PARSING
论文笔记:GRAPPA: GRAMMAR-AUGMENTED PRE-TRAINING FOR TABLE SEMANTIC PARSING目录论文笔记:GRAPPA: GRAMMAR-AUGMENTED PRE-TRAINING FOR TABLE SEMANTIC PARSING导语导语会议:ICLR 2021地址:https://arxiv.org/abs/2009.13845原创 2022-04-21 22:57:24 · 1798 阅读 · 1 评论 -
论文笔记:TABERT: Pretraining for Joint Understanding of Textual and Tabular Data
论文笔记:TABERT: Pretraining for Joint Understanding of Textual and Tabular Data目录论文笔记:TABERT: Pretraining for Joint Understanding of Textual and Tabular Data导语摘要1 简介2 背景2.1 Semantic Parsing over Tables2.2 Masked Language Models3 TABERT: 从表格数据中学习联合分布3.1 计算自然语原创 2022-04-20 15:44:42 · 2317 阅读 · 0 评论 -
EMNLP 2022投稿要求
导语记录EMNLP 2022投稿要求,原网址连接:https://2022.emnlp.org/calls/papers/Overview 。要点记录由于原网页内容较多,这里列几个我认为值得注意的地方。必须在6.17前提交摘要,否则6.24前无法提交全文。今年要求论文在Discussion/Conclusion之后添加一个Limitation章节来讨论本文工作的局限性,这个是强制要求加,不加会直接Reject。但这个章节不占正文内容。不能在匿名期间更新非匿名版本,如果在匿名期前已经有了非匿名版原创 2022-04-18 22:13:01 · 6325 阅读 · 2 评论 -
COLING 2022提交要求与ACL模板要求记录
导语记录coling 2022提交页面要求(Paper Submission, Style Files and Formatting)和acl模板的注意要点。COLING 2022 提交要求论文提交(Paper Submission)COLING 2022 invites submissions of up to eight (8) pages maximum, excluding references, for long papers, and four (4) pages, excluding原创 2022-04-16 10:41:41 · 6231 阅读 · 27 评论 -
论文笔记:S2SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers
论文笔记:S2SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers目录论文笔记:S2SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers导语摘要1 简介2 提出的方法2.1 问题定义2.2 Question-Schema Interaction Grap原创 2022-04-14 21:37:21 · 939 阅读 · 0 评论 -
fairseq库学习笔记(一)入门(Getting Started)
fairseq库学习笔记(一)入门目录fairseq库学习笔记(一)入门前言1 入门(Getting Started)1.1 Evaluating Pre-trained Models1.2 Training a New Model1.3 Advanced Training Options1.4 Command-line Tools前言Fairseq是一个用PyTorch编写的序列建模工具包,它允许研究人员和开发人员训练用于翻译、摘要、语言建模和其他文本生成任务的定制模型。本系列笔记主要以翻译官方文档原创 2021-10-18 18:55:43 · 5246 阅读 · 3 评论 -
论文笔记:PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
论文笔记:PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models目录论文笔记:PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models导语摘要1 简介2 PICARD方法2.1 Lexing2.2 Parsing without Guards2.3 Par原创 2021-09-29 17:41:35 · 1147 阅读 · 0 评论 -
论文笔记:Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing
论文笔记:Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing目录论文笔记:Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing导语摘要1 简介2 模型2.1 问题定义2.2 Question-Schema Serialization and Encoding2.3 Bridging2.4 解码2原创 2021-09-24 12:14:40 · 709 阅读 · 0 评论 -
论文笔记:StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked
论文笔记:StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling目录论文笔记:StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling导语摘要1 简介2 相关工作3 句原创 2021-09-15 09:36:10 · 346 阅读 · 0 评论 -
论文笔记:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
论文笔记:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks目录论文笔记:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks导语摘要1 简介导语本文是2019年ICLR的最佳论文之一,文章提出了一种新的ON-LSTM用来编码自然语句中的层次结构信息。论文地址:https://arxiv.org/abs原创 2021-09-13 20:45:57 · 298 阅读 · 0 评论 -
论文笔记:Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
论文笔记:Straight to the Tree: Constituency Parsing with Neural Syntactic Distance目录论文笔记:Straight to the Tree: Constituency Parsing with Neural Syntactic Distance导语摘要简介导语论文地址:https://aclanthology.org/P18-1108.pdf会议:ACL 2018摘要在这项工作中,我们提出了一个成分句法解析方案。该模型预测了原创 2021-09-13 15:54:37 · 237 阅读 · 0 评论 -
论文笔记:Neural Language Modeling by Jointly Learning Syntax and Lexicon
论文笔记:Neural Language Modeling by Jointly Learning Syntax and Lexicon目录论文笔记:Neural Language Modeling by Jointly Learning Syntax and Lexicon导语摘要简介相关工作研究动机导语摘要本文提出了一种具有无监督句法结构归纳能力的神经语言模型。该模型利用结构信息来形成更好的语义表示和更好的语言建模。标准的递归神经网络受其结构的限制,不能有效地利用句法信息。另一方面,树结构的递归原创 2021-09-11 20:33:29 · 530 阅读 · 0 评论 -
论文笔记:Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions
论文笔记:Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions目录论文笔记:Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions笔者按摘要1 简介2 上下文相关的跨领域语义解析2.1 数据集2.2 任务定义3 方法3.1 Utterance-Table Encoder3.2 Interaction原创 2021-08-25 10:53:43 · 469 阅读 · 0 评论 -
论文笔记:RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers
论文笔记:RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers目录论文笔记:RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers笔者按摘要简介相关工作Relation-Aware Self-AttentionRAT-SQL问题定义Relation-Aware Input Encoding笔者按RATSQL是A原创 2021-08-08 10:46:54 · 2383 阅读 · 3 评论 -
论文笔记:LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations
论文笔记:LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations笔者按这篇文章是截止目前(2021.8)Spider数据集榜单上的SOTA。文章从RATSQL的基础上对Encoder部分进行了多方面改进。首先将原始的异构图根据其1阶连接关系,拆分成节点图和线图两个部分,对两个互为对偶的输入各自应用关系图注意力网络(RGAT),其次加入一个Graph pruning的附加任务辅助Text-原创 2021-08-05 11:01:49 · 2236 阅读 · 4 评论 -
NLP学习笔记(八)注意力机制(Attention)
注意力机制(Attention)这节课我们学习注意力机制(Attention),它可以大幅度提升机器翻译的效果。我们首先来复习一下上节课的内容。seq2seq模型由一个编码器Encoder和一个解码器Decoder组成。...原创 2021-07-08 17:52:04 · 2144 阅读 · 1 评论 -
NLP学习笔记(七)神经网络机器翻译(NMT)
神经网络机器翻译(Neural Machine Translation)这节课我们利用RNN来做机器翻译,机器翻译模型有很多种,这节课我们介绍Seq2Seq模型,把英文翻译为德文。机器翻译是一个Many to Many的问题。首先,我们要处理数据。机器翻译数据(Machine Translation Data)这里,我们仅是学习需要,使用一个小规模数据集即可。可以使用http://www.manythings.org/anki/上的数据集来实验。如图所示,文件有两栏,左边是英语句子,右边是德语句子原创 2021-07-08 15:43:29 · 2086 阅读 · 1 评论 -
CS224N学习笔记(五)依存句法分析
Lecture 5: Dependency Parsing对于句法结构分析,主要有两种方式:Constituency Parsing(成分句法分析)与Dependency Parsing(依存句法分析)。本节课的句法分析以英文为例,其他语言也有类似的结构。Syntactic Structure: Consistency and DependencyConstituency ParsingConstituency Parsing称为成分句法分析,主要思想是通过短语语法来不断的将词语整理成嵌套的组成成分原创 2021-07-08 10:47:06 · 919 阅读 · 0 评论 -
CS224N学习笔记(二)词向量和词含义
Lecture 2:Word Vectors and Word SensesFinish looking at word vectors and word2vec首先复习上节课的内容,遍历整个语料库中的每个单词使用单词向量预测周围的单词更新向量以便更好地预测每行代表一个单词的词向量,这里是6个单词,每个单词的维度为5。v4v_4v4代表第4行,即第四个单词。通过U与之点乘后得到的分数通过softmax映射为概率分布,其是对于该中心词而言的上下文中单词的概率分布,该分布与上下文所在的具体原创 2021-07-02 11:06:39 · 296 阅读 · 1 评论 -
CS224N学习笔记(一)课程介绍与词向量
前言cs0224n之前之前刷过一部分,但既没有做笔记,也没有将核心内容看完。导致现在基础内容忘得差不多了,趁现在暑假有时间计划重刷并做笔记记录。Lecture 1: Introduction and Word VectorsThe course课程目标如下:Human language and word meaning语言是人类变得强大的主要原因,相较于如今的互联网的传播速度而言,人类语言是一种缓慢的语言。然而,只需人类语言形式的几百Byte的信息,就可以让一个人想象出丰富的视觉场景,足以体现原创 2021-07-01 09:29:39 · 613 阅读 · 1 评论 -
Pytorch中数据集太大加载爆内存问题解决记录
问题说明项目需要,要加载一个具有两千多万条样本的两万多分类问题的数据集在BERT模型上进行Fine tune,我选取了其中2%的数据(约50万条)作为测试集,然后剩下的两千多万条作为训练集。我按照 Transformers库官方文档里的 Fine-tuning with custom datasets一文中对BERT模型在IMDb数据集上Fine tune的过程进行改写。原代码如下:train_texts, train_labels = read_imdb_split('aclImdb/train')原创 2021-04-22 11:00:49 · 13717 阅读 · 5 评论 -
transformers库中使用DataParallel保存模型参数时遇到的问题记录
pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了Fine-tune。今天尝试加载保存好的checkpoint到程序中来直接进行evaluate。直接使用AutoModelForSequenceClassification从checkpoint目录加载加载的代码为:model = AutoModelForSequenceClassification.原创 2021-04-22 10:49:46 · 3536 阅读 · 4 评论 -
NLP学习笔记(六)文本生成
文本生成(Text generation)这节课介绍RNN的一个应用:文本生成。我们可以训练一个RNN来自动生成文本。主要思想(Main idea)我们以一个例子开始,假设输入半句话,“The cat sat on the ma”,要求预测下一个字符。我们可以训练一个神经网络来预测下一个字符,训练数据是很多文本,把文本分割成字符,用One-hot encoding来表示字符。把这些One-Hot向量依次输入RNN,RNN的状态向量h会积累看到的信息。RNN返回最后一个向量h,在RNN上面是一个Soft原创 2021-04-09 22:18:20 · 3510 阅读 · 3 评论 -
NLP学习笔记(五)让RNNs更加高效
让RNNs更加高效(Making RNNs More Effective)这节课我们学习三个技巧来提升RNN的效果,分别是:多层RNN(Stacked RNN)双向RNN(Bidirectional RNN)多层RNN(Stacked RNN)我们知道,可以把许多全连接层/卷积层堆叠起来,构成一个很深的网络来提升效果。同样的道理,我们也可以把多层RNN堆叠起来,构成一个多层RNN网络以提升效果。神经网络每一步都会更新状态h,新算出来的h有两个copys,一份送到下一个时刻,另一份作为输出原创 2021-04-09 20:43:27 · 515 阅读 · 0 评论 -
Huggingface Transformers库学习笔记(三):使用Transformers(下)(Using Transformers Part 2)
前言本部分是Transformer库的基础部分的下半部分,主要包括训练和微调、模型共享和上传、分词器汇总、多语言模型。Huggingface Transformers库学习笔记(三):使用Transformers(Using Transformers Part 2)前言使用Transformers(Using Transformers)训练和微调(Training and fine-tuning)在本地PyTorch中进行微调(Fine-tuning in native PyTorch)冻结编码器(F原创 2021-04-09 15:24:21 · 1793 阅读 · 3 评论 -
Huggingface Transformers库学习笔记(二):使用Transformers(上)(Using Transformers Part 1)
Huggingface Transformers库学习笔记(二):使用Transformers(Using Transformers)使用Transformers(Using Transformers)任务汇总(Summary of the tasks)序列分类(Sequence Classification)提取式问答(Extractive Question Answering)语言模型(Language Modeling)遮罩语言模型(Masked Language Modeling)因果语言模型(Ca原创 2021-04-08 23:14:03 · 4400 阅读 · 6 评论 -
NLP学习笔记(四):长短时记忆网络
长短时记忆网络(Long Short Term Memory (LSTM))LSTM 模型LSTM模型是RNN 模型的改进,可以避免梯度消失的问题,有更长的记忆。LSTM也是一种循环神经网络,每当读取一个输入x就会更新状态h。LSTM的结构比简单RNN要复杂很多,简单RNN只有一个参数矩阵,LSTM有四个参数矩阵。下面我们具体来看LSTM的内部结构。LSTM最重要的设计是传输带,记为向量CCC,过去的信息通过传送带直接送到下一个时刻,不会发生太大的变化,LSTM就是靠传输带来避免梯度消失的问题。原创 2021-04-08 09:53:21 · 488 阅读 · 0 评论 -
NLP学习笔记(二):文本分类与词嵌入
文本分类与词嵌入(Text Processing and Word Embedding)数据集(Dataset)本节课使用IMDb影评数据作为数据集。其包含有5万条影评文本,每段文本都有很明确的正向/负向情感(即为一个二分类问题)。其中2万5千条数据作为训练数据集,2万5千条数据作为测试数据集。文本到序列(Text to Sequence)我们首先需要把这段文本转换为序列。主要有以下几个步骤需要完成Step 1: 分词(Tokenization)Step 2: 建立词表(Build Dicti原创 2021-04-07 22:55:07 · 997 阅读 · 0 评论 -
NLP学习笔记(三):RNN网络
RNN网络(Recurrent Neural Network)机器学习中经常处理时序数据,那么怎么对时序数据进行建模呢?之前我们了解了全连接网络和卷积网络,这两种网络都是One to One模型,它将输入作为一个整体,具有固定长度的输入和输出,它很适合图片的问题,却不太适合文本的问题。对于文本问题,我们的输入和输出的长度并不固定,一种更好的模型时Many to One 或者 Many to Many模型,RNN就是这样的模型,输入和输出的长度不固定,很适合语音、文本等时序序列数据。RNN跟人类的阅读原创 2021-04-07 22:51:33 · 944 阅读 · 0 评论 -
Huggingface Transformers库学习笔记(一):入门(Get started)
前言Huggingface的Transformers库是一个很棒的项目,该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常轻松的调取。同时,也可以通过Pytorch和TensorFlow 2.0进行编写修改等。本系列学习资料来自于该库的官方文档(v4.4.2),链接为TransformersHuggingface Transfo原创 2021-04-06 14:29:10 · 3350 阅读 · 3 评论 -
Pytorch中“RuntimeError: Input, output and indices must be on the current device“问题解决
问题描述昨天跟着一篇博客BERT 的 PyTorch 实现从头写了一下BERT的代码,因为原代码是在CPU上运行的,于是就想将模型和数据放到GPU上来跑,会快一点。结果,在将输入数据和模型都放到cuda上之后,仍然提示报错:"RuntimeError: Input, output and indices must be on the current device"原因与解决方法通过打印检查了很多次,输入变量和模型参数都在cuda:0上。查找资料后发现可能是有以下两个地方导致这个问题。在模型内原创 2021-04-03 11:38:52 · 16168 阅读 · 8 评论