自然语言处理
代码拖拉鸡
无简述
展开
-
【论文阅读】Attention Is All You Need
本文提出了一个全新的模型架构Transformer,在Transformer模型提出前,机器翻译主要使用的模型是Seq2Seq和加入attention机制的Seq2Seq。Transformer与这些模型的基本架构类似,都由Encoder和Decoder组成,但不同之处在于Transformer模型中没有使用RNN/LSTM或CNN,仅仅使用了attention机制,就完成了输入到输出之间的并行计算。Transformer的优点可以总结为以下几点:Seq2Seq模型的Encoder将输入序列编码为一个固原创 2020-12-15 11:18:09 · 221 阅读 · 0 评论 -
【自然语言处理】word2vec的学习记录
word2vec是用来生成词向量的相关模型,由Google在2013年提出,相关的论文有以下三篇Efficient Estimation of Word Representations in Vector SpaceDistributed Representations of Words and Phrases and their Compositionality基本介绍word2vec的基本思想是:利用相似的词具有相似的上下文这一思想,训练神经网络模型。模型的输入是某个词,输出是这个词的上下文。经原创 2020-07-28 10:08:59 · 193 阅读 · 0 评论 -
【自然语言处理】Hanlp分词与去停用词工具
可以参考这个GitHub分词除了使用jieba也可以用Hanlp的这个小工具,也很方便。HanLP的词典分词实现1.DoubleArrayTrieSegmentDoubleArrayTrieSegment分词器是对DAT最长匹配的封装,默认加载hanlp.properties中CoreDictionaryPath制定的词典。from pyhanlp import *# 不显示词性HanLP.Config.ShowTermNature = False# 可传入自定义字典 [dir1, di原创 2020-05-27 09:06:43 · 2962 阅读 · 0 评论 -
Pytorch实现Seq2Seq
前言Seq2Seq模型用来处理nlp中序列到序列的问题,是一种常见的Encoder-Decoder模型架构,基于RNN同时解决了RNN的一些弊端(输入和输入必须是等长的)。Seq2Seq的模型架构可以参考Seq2Seq详解,也可以读论文原文sequence to sequence learning with neural networks.本文主要介绍如何用Pytorch实现Seq2Seq模型。...原创 2020-04-10 09:27:03 · 3979 阅读 · 7 评论