自然语言处理
文章平均质量分 90
MCZ777
这个作者很懒,什么都没留下…
展开
-
[论文阅读]Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing
论文地址:Findings of EMNLP 2020 https://arxiv.org/abs/2012.12627代码:BRIDGE1 Introduction早期的text2sql任务是在处理单表的问题,然而实际上的数据库是多表、多领域的,早期的方案不能很好的扩展。针对不同的数据库(DB),近似的自然语言表达生成的 SQL 可能十分不同。因此,跨数据库 text-to-SQL 语义解析器不能仅简单地记住所看到的 SQL 模式,而是必须准确地建模自然语言问题、目标数据库结构以及两者的上下文.原创 2022-05-07 15:56:35 · 391 阅读 · 0 评论 -
[论文阅读]S2SQL:Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers
S2SQL阅读笔记1 Introduction2 Question-Schema Interaction Graph原创 2022-05-06 15:21:14 · 485 阅读 · 0 评论 -
BPE分词、LabelSmoothing标签平滑正则化
BPE(Byte Pair Encoding)分词BPE是一种根据字节对进行编码的算法。主要目的是为了数据压缩,算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。基本思路是将使用最频繁的字节用一个新的字节组合代替,比如用字符的n-gram替换各个字符。例如,假设(‘A’, ‘B’) 经常顺序出现,则用一个新的标志’AB’来代替它们。Transformer NLP 预训练模型都通过 embedding 词典来表征词义,当遇见没见过的词的时候,以前是用""代替,这样会原创 2021-09-17 21:13:53 · 946 阅读 · 0 评论 -
Transformer详解
文章目录0. Transformer直观认识1. Positional Encoding2. Self Attention Mechanismself-attention矩阵运算Multi-Head Attention(多头注意力机制)Attention代码Padding Mask3.残差连接和Layer Normalization残差连接Layer Normalization4.Transformer Encoder整体架构5.Transformer Decoder整体架构Masked Self-Atte原创 2021-09-13 21:56:22 · 2758 阅读 · 0 评论 -
LSTM网络
文章目录1.LSTM网络2.LSTM核心思想3.逐步理解LSTM3.1 遗忘门3.2 输入门3.3 输出门1.LSTM网络 长短期记忆网络( Long Short-Term Memory Network , LSTM ) [Gers et al.,2000; Hochreiter et al., 1997] 是循环神经网络的一个变体,长短期记忆是指长的“短期记忆”,可以有效地解决简单循环神经网络的梯度爆炸或消失问题.2.LSTM核心思想 LSTM 的关键是 cell 状态,即记忆单元c。c原创 2021-09-06 18:29:56 · 1101 阅读 · 0 评论 -
文本分类:TextCNN(pytorch实现)
TextCNN原理:核心点在于使用卷积来捕捉局部相关性,在文本分类任务中可以利用CNN提取句子中类似n-gram的关键信息。textcnn详细过程:第一层是图中最左边的7乘5的句子矩阵,每行是词向量,维度=5。然后经过不同 filter_size的一维卷积层(这里是2,3,4),每个filter_size 有filter_num(这里是2)个输出 channel。第三层是一个1-max pooling层,这样不同长度句子经过pooling层之后都能变成定长的表示了,最后接一层全连接的 softm原创 2021-09-01 17:28:02 · 2221 阅读 · 0 评论 -
[论文阅读]《Attention is All You Need》
1. 背景????Attention机制最早在视觉领域提出,2014年Google Mind发表了《Recurrent Models of Visual Attention》,使Attention机制流行起来,这篇论文采用了RNN模型,并加入了Attention机制来进行图像的分类。2015年,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中,将attention机制首次应用在nlp原创 2021-06-22 11:16:09 · 334 阅读 · 0 评论 -
[论文阅读]Get To The Point: Summarization with Pointer-Generator
Get To The Point: Summarization with Pointer-Generator Networks文章目录Get To The Point: Summarization with Pointer-Generator Networks一 摘要????二 模型????2.1 seq2seq + Attention模型2.2 Pointer-generator network2.3 覆盖机制(coverage mechanism)一 摘要????传统的Seq2Seq+Attent原创 2021-06-01 17:22:44 · 233 阅读 · 0 评论