NLP
文章平均质量分 90
我唱歌比较走心
苏州大学 软件工程研究生 在读
展开
-
Transformer深入理解
前言Transformer除了本身是一个重要的深度学习模型外,内部的一些实现细节(尤其是self-attention)也经常会使用到,为了防止遗忘,这里对Transformer的实现做一个详细的记录。(内容是对李宏毅老师课程的记录)RNNs的缺点和并行化的思想在RNN类的网络中(SimpleRNN,LSTM,GRU等),有一个很明显的缺点在于该网络无法实现并行化,因为下一步时间步的输入依赖于上一个时间步的输出。而transformer可以很好的解决这一个问题,做到并行化。在讲transf原创 2021-12-26 13:27:32 · 1269 阅读 · 0 评论 -
论文阅读笔记:An End-to-End Approach for Document-level Event Factuality Identification in Chinese
模型结构文本主要提出了一个用于识别篇章级可信度的端到端的模型,即不用任何其它的特征,仅需要一个最核心的事件和整篇文本来识别篇章级的可信度。文章中的模型如下所示:首先对于一个文档D,它的表示为D={S1, S2, …, Sn} ,其中Si表示文章中的第几句话,模型的输入层,Q是根据篇章的核心事件提出的一个问题,如果事件用E来表示,那么问题Q就可以表述为“事件 E 的事实性值是什么”,举个具体的例子,比如篇章中最核心的事件E:United States reach an agreement wi原创 2021-03-28 21:48:45 · 332 阅读 · 0 评论 -
Pytorch简单实现TextCNN
代码来自于博客:https://wmathor.com/index.php/archives/1445/TextCNN代码的流程分析TextCNN将图像领域的CNN运用到了文本领域中,在论文Convolutional Neural Networks for Sentence Classification中提出。TextCNN最核心的就是如下所示的一张图:图中左边红色方框代表输入的样本(共有两个方框,可以理解为batch_size=2),我们按照图中所示分析红色方框的句子,这个句子中有9个原创 2021-03-08 21:16:08 · 600 阅读 · 0 评论 -
Pytorch实现word2vec(Skip-gram训练方式)
简易版本的word2vec实现skip-gram原理简述skip-gram是word2vec的一种训练方法,是核心思想是用中心词预测周围词,相比起用周围词预测中心词的CBOW训练方法,skip-gram训练的“难度更大”,因此训练出来的词向量往往也要比CBOW的要好一些。从理论到代码最重要的一步就是要认识到在用中心词预测周围词的时候,比如当我们指定窗口为2,那么左右的周围词共有四个,skip-gram的训练过程不是一次性用中心词预测四个词,而是中心词和一个周围词组成一个训练样本,有4个周围词的话原创 2021-03-07 16:04:21 · 5088 阅读 · 12 评论 -
使用Pytorch简单实现NNLM(Nerual Network Language Model)
前言NNLM在NLP中有着举足轻重的地位,该模型将深度学习运用到了NLP中,其副产物词向量更是开创了NLP中预训练模型的先河,此文章使用Pytorch实现了NNLM的模型结构,并用简单的数据进行了模型的训练和测试。示例代码来自于:https://wmathor.com/index.php/archives/1442/本文在原博客的基础上进行了一些补充,使其更加通俗易懂。模型结构分析NNLM的模型是一个三层的神经网络,如图所示:NNLM模型的任务是通过句子中的前n-1个词,来.原创 2021-03-03 19:02:41 · 940 阅读 · 5 评论 -
详解Pytorch实现MNIST手写数字识别
目录1.思路和流程分析2.准备训练集和测试集2.1 torchvision.transforms的图形数据处理方法2.1.1 torchvision.transforms.ToTensor2.1.2 torchvision.transforms.Normalize(mean, std)2.1.3torchvision.transforms.Compose(transforms)2.2准备MNIST数据集的Dataset和DataLoader3.构建模型3.1 激...原创 2021-01-30 16:57:23 · 1525 阅读 · 0 评论 -
pytorch实现IMDB数据集情感分类(全连接层的网络、LSTM)
任务描述使用Pytorch相关API,设计两种网络结构,一种网络结构中只有全连接层,一种使用文本处理中最为常用的LSTM,将数据集进行10分类,观察并对比两者的分类效果。模型情感分类的数据集是经典的IMDB数据集,数据集下载地址:http://ai.stanford.edu/~amaas/data/sentiment/。这是一份包含了5万条流行电影的评论数据,其中训练集25000条,测试集25000条。数据格式如下:数据的标签以文件名的方式呈现,图中左边为名称,其中名称包含两部分,分别是序号原创 2021-01-30 13:19:41 · 12546 阅读 · 17 评论 -
万字长文:深入理解各类型神经网络(简单神经网络,CNN,LSTM)的输入和输出
简单神经网络当输入为标量对于一个最简单的神经网络而言,它的一个神经元通常长这个样子:假设我们有a1, a2, ... , an共n个输入,对于每个输入都给定一个权重w1, w2, ... , wn,再给定一个偏置b,将权重和输入相乘,加上偏置,就得到了一个神经元SUM,SUM的表达式为:SUM = w1 * x1 + w2 * x2 + ... + wn * xn + b,在这里由于各个项都是标量,得到的结果SUM也是一个标量。得到了SUM这个输出神经元后,我们通常会在后面加一个激活函数(上原创 2021-01-28 15:34:17 · 10850 阅读 · 14 评论 -
详解使用pytorch实现线性回归
引言pytorch作为一门主流的深度学习框架,API是非常多的,但使用pytorch搭建神经网络模型时,往往套路又较为固定。因此通过一些实际的例子去熟悉如何搭建模型,如何训练、测试数据,在实践中学习的效果往往要比漫无目的的学语法和API要好的多。本文主要从最为基础的线性回归着手,严格来说线性回归更多的在机器学习中讨论,但是我们也能搭建一个简单的“神经网络”,用深度学习的套路来解决这个问题,而这个基本套路,即使是在搭建极为复杂的神经网络中也是适用的。...原创 2021-01-25 09:32:31 · 7487 阅读 · 6 评论 -
如何检索、阅读NLP论文
自然语言处理领域顶会:ACL EMNLP NACAL COLING机器学习/深度学习领域:ICML NIPS UAI AISTATS ICLR数据挖掘领域:KDD WSDM SDM人工智能领域:IJCAI AAAI每个期刊都会有一个领域的综述,和未来的前景等,可以去看看可以订阅arXiv,来获取每天的信息如何检索和阅读论文期刊的审稿周期比较长,篇幅也比较长(相对可能比会议更详细些)PaperWeekly比较好CS Rating...原创 2020-11-21 15:59:50 · 2224 阅读 · 0 评论