自然语言处理&智能翻译
自然语言处理&智能翻译
普通网友
这个作者很懒,什么都没留下…
展开
-
基于TensorRT的BERT实时自然语言理解(下)
基于TensorRT的BERT实时自然语言理解(下)BERT Inference with TensorRT请参阅Python脚本bert_inference.py还有详细的Jupyter notebook BERT_TRT.ipynb在sample文件夹中进行推理过程的逐步描述和演练。在本节中,让我们回顾几个关键参数和概念,以便使用TensorRT进行推理。BERT(更具体地说是编码器层)使用以下参数来控制其操作:Batch sizeSequence LengthNumber of原创 2020-11-03 09:29:00 · 1270 阅读 · 1 评论 -
基于TensorRT的BERT实时自然语言理解(上)
基于TensorRT的BERT实时自然语言理解(上)大规模语言模型(LSLMs)如BERT、GPT-2和XL-Net为许多自然语言理解(NLU)任务带来了最先进的精准飞跃。自2018年10月发布以来,BERT1(来自Transformer的双向编码器表示)仍然是最流行的语言模型之一,并且在编写时仍能提供最先进的精准。BERT为NLU任务的准确性提供了一个飞跃,使得基于语言的高质量服务在许多行业的公司都能达到。要在生产中使用模型,除了精准之外,还需要考虑延迟等因素,这些因素会影响最终用户对服务的满意度。由原创 2020-11-03 08:45:28 · 791 阅读 · 2 评论 -
编译器架构Compiler Architecture(下)
编译器架构Compiler Architecture(下)Combining Scanning and Parsing实际上没有必要将扫描(词法分析/标记化)与解析(语法分析/树生成)分开。基于PEGs的系统,比如Ohm,实际上是无扫描的:它们以一种预测的方式执行解析,将词汇和语法规则混合在一起。(但是,像Ohm这样的系统需要一个预解析阶段来处理缩进和凹陷。)当使用无扫描系统时,语言设计者和编译器编写者仍然会考虑符号和短语,但不必担心像所谓的最大Munch原则这样的复杂规则。Lookahead捕获您需原创 2020-07-04 13:14:53 · 214 阅读 · 0 评论 -
编译器架构Compiler Architecture(上)
编译器架构Compiler Architecture(上)编译器是程序,通常是非常大的程序。它们几乎都有一个基于翻译分析综合模型的结构。CONTENTSOverview • Compiler Components • Lexical Analysis (Scanning) • Syntax Analysis (Parsing) • Combining Scanning and Parsing • Semantic Analysis • Intermediate Code Generation • Ma原创 2020-07-04 12:35:22 · 378 阅读 · 0 评论 -
自然语言推理:微调BERT
自然语言推理:微调BERTNatural Language Inference: Fine-Tuning BERTSNLI数据集上的自然语言推理任务设计了一个基于注意力的体系结构。现在通过微调BERT来重新讨论这个任务。自然语言推理是一个序列级文本对分类问题,而微调BERT只需要额外的基于MLP的架构,如图1所示。Fig. 1. This section feeds pretrained BERT to an MLP-based architecture for natural language原创 2020-07-03 10:33:16 · 1378 阅读 · 0 评论 -
微调BERT:序列级和令牌级应用程序
微调BERT:序列级和令牌级应用程序Fine-Tuning BERT for Sequence-Level and Token-Level Applications为自然语言处理应用程序设计了不同的模型,例如基于RNNs、CNNs、attention和MLPs。当存在空间或时间限制时,这些模型是有用的,然而,为每个自然语言处理任务构建一个特定的模型实际上是不可行的。介绍了一个预训练模型,BERT,要求对各种自然语言处理任务进行最小的体系结构更改。一方面,在提出这个建议的时候,BERT改进了各种自然语言处原创 2020-07-03 09:52:58 · 319 阅读 · 0 评论 -
自然语言推理:使用注意力机制
自然语言推理:使用注意力机制Natural Language Inference: Using Attention自然语言推理任务和SNLI数据集。鉴于许多模型都是基于复杂和深层架构的,Parikh等人提出用注意机制解决自然语言推理问题,并称之为“可分解注意力模型”【Parikh等人,2016年】。这就产生了一个没有递归层或卷积层的模型,在SNLI数据集上用更少的参数获得了最好的结果。在本节中,将描述并实现这种基于注意的自然语言推理方法(使用MLPs),如图1所示。Fig. 1. This sec原创 2020-07-03 08:46:04 · 524 阅读 · 0 评论 -
自然语言推理和数据集
自然语言推理和数据集Natural Language Inference and the Dataset情绪分析的问题。此任务旨在将单个文本序列分类为预定义的类别,例如一组情感极性。然而,当需要判断一个句子是否可以从另一个句子中推断出来,或者通过识别语义上等价的句子来消除冗余时,知道如何对一个文本序列进行分类是不够的。相反,需要能够对文本序列进行推理。Natural Language Inference自然语言推理研究一个假设是否可以从一个前提中推断出来,前提和前提都是文本序列。换句话说,自然语原创 2020-07-03 07:03:47 · 586 阅读 · 0 评论 -
情感分析:基于卷积神经网络
情感分析:基于卷积神经网络Sentiment Analysis: Using Convolutional Neural Networks探讨了如何用二维卷积神经网络来处理二维图像数据。在以往的语言模型和文本分类任务中,把文本数据看作一个一维的时间序列,自然地,使用递归神经网络来处理这些数据。实际上,也可以将文本看作一维图像,这样就可以使用一维卷积神经网络来捕捉相邻单词之间的关联。如中所述… _fig_nlp-map-sa-cnn:本节描述了将卷积神经网络应用于情绪分析的突破性方法:textCNN[Kim原创 2020-07-02 19:06:25 · 853 阅读 · 0 评论 -
情感分析:基于循环神经网络
情感分析:基于循环神经网络Sentiment Analysis: Using Recurrent Neural Networks与搜索同义词和类比词类似,文本分类也是单词嵌入的一个下游应用。在本文中,将应用预训练的词向量(glow)和具有多个隐藏层的双向递归神经网络,如图1所示。将使用该模型来判断长度不定的文本序列是包含积极情绪还是消极情绪。图1. 本节将经过预训练的GloVe to RNN-based提供给基于RNN的体系结构,用于情感分析。from d2l import mxnet as d2原创 2020-07-02 17:45:10 · 1040 阅读 · 0 评论 -
情感分析和数据集
情感分析和数据集Sentiment Analysis and the Dataset Natural Language Processing:Applications如图1所示,描述使用不同类型的深度学习架构(如MLPs、cnn、rnn和attention)设计自然语言处理模型的基本思想。虽然在图1中,可以将任何预训练文本表示与任何体系结构结合起来,用于任何下游的自然语言处理任务,但是选择了一些具有代表性的组合。具体来说,将探索基于RNNs和CNNs的流行架构来进行情感分析。对于自然语言推理,选择注意原创 2020-07-02 17:04:48 · 1850 阅读 · 0 评论