MCZ777-CSDN博客

原创 [论文阅读]Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing

论文地址：Findings of EMNLP 2020 https://arxiv.org/abs/2012.12627代码：BRIDGE1 Introduction早期的text2sql任务是在处理单表的问题，然而实际上的数据库是多表、多领域的，早期的方案不能很好的扩展。针对不同的数据库（DB），近似的自然语言表达生成的 SQL 可能十分不同。因此，跨数据库 text-to-SQL 语义解析器不能仅简单地记住所看到的 SQL 模式，而是必须准确地建模自然语言问题、目标数据库结构以及两者的上下文.

2022-05-07 15:56:35 356

原创 [论文阅读]S2SQL：Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers

S2SQL阅读笔记1 Introduction2 Question-Schema Interaction Graph

2022-05-06 15:21:14 441

原创 BPE分词、LabelSmoothing标签平滑正则化

BPE(Byte Pair Encoding)分词BPE是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。基本思路是将使用最频繁的字节用一个新的字节组合代替，比如用字符的n-gram替换各个字符。例如，假设(‘A’, ‘B’) 经常顺序出现，则用一个新的标志’AB’来代替它们。Transformer NLP 预训练模型都通过 embedding 词典来表征词义，当遇见没见过的词的时候，以前是用""代替，这样会

2021-09-17 21:13:53 900

原创 Transformer详解

文章目录0. Transformer直观认识1. Positional Encoding2. Self Attention Mechanismself-attention矩阵运算Multi-Head Attention（多头注意力机制）Attention代码Padding Mask3.残差连接和Layer Normalization残差连接Layer Normalization4.Transformer Encoder整体架构5.Transformer Decoder整体架构Masked Self-Atte

2021-09-13 21:56:22 2508

原创 LSTM网络

文章目录1.LSTM网络2.LSTM核心思想3.逐步理解LSTM3.1 遗忘门3.2 输入门3.3 输出门1.LSTM网络长短期记忆网络（ Long Short-Term Memory Network ， LSTM ） [Gers et al.,2000; Hochreiter et al., 1997] 是循环神经网络的一个变体，长短期记忆是指长的“短期记忆”，可以有效地解决简单循环神经网络的梯度爆炸或消失问题．2.LSTM核心思想 LSTM 的关键是 cell 状态，即记忆单元c。c

2021-09-06 18:29:56 1022

原创文本分类：TextCNN（pytorch实现）

TextCNN原理：核心点在于使用卷积来捕捉局部相关性，在文本分类任务中可以利用CNN提取句子中类似n-gram的关键信息。textcnn详细过程：第一层是图中最左边的7乘5的句子矩阵，每行是词向量，维度=5。然后经过不同 filter_size的一维卷积层（这里是2,3,4），每个filter_size 有filter_num（这里是2）个输出 channel。第三层是一个1-max pooling层，这样不同长度句子经过pooling层之后都能变成定长的表示了，最后接一层全连接的 softm

2021-09-01 17:28:02 2166

原创联想拯救者r7000p在ubuntu20.04未找到wifi适配器,安装rtl8852ae网卡驱动问题解决方案

新买的拯救者r7000p 2021款，装完ubuntu20.04之后显示未找到wifi适配器，更换N次源之后还是只有一个显卡驱动，在网上找了很多方法，再自己折腾了一段时间后，总算是解决了这个问题。1.设置bios打开主板系统，将security boot设置为disenable,因为设计到修改内核配置，必须得关掉安全启动。2.查询网卡状态使用命令查询网卡(hardware of Internet)状态lshw -C network 因为是双系统，在Windows下控制面板-设备管理器中可以

2021-07-26 16:09:27 10016 29

原创 [论文阅读]《Attention is All You Need》

1. 背景????Attention机制最早在视觉领域提出，2014年Google Mind发表了《Recurrent Models of Visual Attention》，使Attention机制流行起来，这篇论文采用了RNN模型，并加入了Attention机制来进行图像的分类。2015年，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，将attention机制首次应用在nlp

2021-06-22 11:16:09 308

原创 [论文阅读]Get To The Point: Summarization with Pointer-Generator

Get To The Point: Summarization with Pointer-Generator Networks文章目录Get To The Point: Summarization with Pointer-Generator Networks一摘要????二模型????2.1 seq2seq + Attention模型2.2 Pointer-generator network2.3 覆盖机制(coverage mechanism)一摘要????传统的Seq2Seq+Attent

2021-06-01 17:22:44 211

原创多模态机器学习

文章目录什么是多模态机器学习????多模态学习的分类多模态表示学习????模态转化????对齐 Alignment????多模态融合 Multimodal Fusion????协同学习 Co-learning????什么是多模态机器学习????每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的

2021-06-01 17:15:19 660

MCZ777的博客