lpty的博客

走进科学

Some papers about NLP

Attention 1、Neural Machine Translation by Jointly Learning to Align and Translate 2、Effective Approaches to Attention-based Neural Machine Translat...

2019-01-14 19:38:44

阅读数:51

评论数:0

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

引言 Google在2018年发出来的论文,原文地址:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

2019-01-15 19:29:32

阅读数:51

评论数:0

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

原文:张俊林–从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 引言 Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得。那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗? 其实并没有,从模型创...

2019-01-11 19:55:50

阅读数:36

评论数:0

Attention Is All You Need

引言 google 在2017年发布的一篇论文,即是transformer,原文地址:Attention Is All You Need

2019-01-07 21:59:16

阅读数:39

评论数:0

ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs

引言 Wenpeng Yin等发表在arXiv上的论文,原文地址:地址 这应该是第一篇提出Attention用于CNN的文章,主要用来解决句子对的问题,作者在answer selection (AS),、paraphrase identification(PI)、textual entailm...

2019-01-02 17:36:34

阅读数:20

评论数:0

Effective Approaches to Attention-based Neural Machine Translation

引言 Minh-Thang Luong等在2015年arXiv上的论文,原文地址:地址 这是继Bahdanau提出attention用于NLP的后续工作,作者提出了两种新的,相对于前面工作简单但有效的网络,一种称为global方法,实现上与Bahdanau使用的方式很相似,在每一次生成目标词时,都...

2018-12-28 10:45:54

阅读数:54

评论数:0

Neural Machine Translation by Jointly Learning to Align and Translate

引言 Dzmitry Bahdanau等人在2016年arXiv上的paper,原文地址arXiv:1409.0473v7 [cs.CL] 19 May 2016 这篇应该是最早将Attention机制用到NLP中的论文,作者提到神经网络机器翻译的目标是训练一个单一庞大的网络去直接生成翻译结果,相...

2018-12-19 17:33:04

阅读数:100

评论数:0

A Convolutional Neural Network for Modelling Sentences

引言 Nal Kalchbrenner等人在2014年arXiv上的paper,原文地址:arXiv:1404.2188v1 [cs.CL] 8 Apr 2014。 自然语言处理的基础问题在于句子的语义表示,其他特定的任务如分类等都是在语义表示的基础上进行高层次的处理,所以如何对句子进行表达就成为...

2018-12-11 23:53:30

阅读数:703

评论数:0

Recurrent Neural Network for Text Classification with Multi-Task Learning

引言 Pengfei Liu等人在2016年的IJCAI上发表的论文,论文提到已存在的网络都是针对单一任务进行训练,但是这种模型都存在问题,即缺少标注数据,当然这是任何机器学习任务都面临的问题。 为了应对数据量少,常用的方法是使用一个无监督的预训练模型,比如词向量,实验中也取得了不错的效果,但...

2018-12-05 17:34:04

阅读数:76

评论数:0

A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification

引言 Ye Zhang在2016年挂在arXiv上的论文,从名字大概可以看出来,这是一篇CNN调参指南。 概述 模型方面用的是单层CNN,主要是CNN用做文本分类方面的研究,模型结构如下所示: 上述模型来自Convolutional Neural Networks for Sentence Cl...

2018-11-19 23:52:09

阅读数:1249

评论数:0

Convolutional Neural Networks for Sentence Classification

引言 这是Yoon Kim发表于2014年的EMNLP上的论文,也就是经常说到的TextCNN。 CNN一开始提出来是作为图像或者语音这种特征连续任务的处理方式,这篇论文则是尝试将CNN用于文本这种离散型的任务中。 模型 前面说到CNN是处理连续型数据的,所以对于文本而言,就需要进行离散特...

2018-11-15 17:19:50

阅读数:38

评论数:0

Cross-Entropy Error、Classification Error、Mean Squared Error

一、引言 神经网络中,损失函数的选择希望能够有以下效果: 1、不同的预测结果能够产生不同的损失,越好的结果损失要越小 2、在损失较大的情况下,学习的速率要相对较快 二、对比 1、区分性 假设有以下两组数据,computed代表计算出来的概率,targets代表实际的标签,correct代表分类结果...

2018-11-13 19:19:18

阅读数:47

评论数:0

Linux下编译安装gcc

引言 1、gcc下载地址:ftp://ftp.mirrorservice.org/sites/sourceware.org/pub/gcc/releases 2、GMP、MPFR、MPC下载地址:ftp://gcc.gnu.org/pub/gcc/infrastructure/ 步骤 1、...

2018-11-08 17:19:47

阅读数:42

评论数:0

Monte Carlo Integration

引言 Monte Carlo Integration,即蒙特卡罗积分,这是一种很常用的数学方法,原理上也可以很直观的列出来 内容 (一)投点法求定积分 如下图,求函数f(x)从a到b的定积分。用面积为A的矩型罩在函数的积分区间上,随机地向这个矩形框里面投点,其中落在函数f(x)下方的点为绿...

2018-11-06 16:18:39

阅读数:55

评论数:0

Linear classifiers do not share parameters among features and classes

一、概述 标题来自Bag of Tricks for Efficient Text Classification,就是fasttext这篇文章 二、简析 1、解析 下述截图来自:https://datascience.stackexchange.com/questions/30605/what-i...

2018-11-01 10:23:25

阅读数:45

评论数:0

ORACLE锁表暴力解决方法

一、概述 关于oracle锁详见:https://www.cnblogs.com/zhoading/p/8547320.html 下述方法为处理ORA-00054:资源正忙,要求指定NOWAIT,这种问题。 二、方法 1、找出被锁对象 select l.session_id,o.owner,o.o...

2018-10-19 10:45:46

阅读数:54

评论数:0

linux下的缓存机制

一、缓存 在linux系统下,free命令可以看到系统内存使用情况: 上图各个参数解释如下: 1、Mem total:总内存 used:已使用的内存 free:空闲的内存 shared:当前已废弃内存 buffers Buffer:I/O缓存,用于内存和硬盘的缓冲 cache...

2018-10-11 16:56:27

阅读数:60

评论数:0

GRU与LSTM

一、前言 GRU是LSTM的一种变体,综合来看: 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛,但是在数据集较大的情况下,LSTM性能更好。 3、GRU只有两个门(update和reset),LSTM有三个门(forget,input,output) LSTM还...

2018-09-23 14:34:17

阅读数:298

评论数:0

新词发现:中文新词识别技术简介

一、前言 新词识别,也可称为未登录词识别,严格来说,新词是指随时代发展而新出现或旧词新用的词,如:给力、山寨等;而未登录词是在词典中未存在的词,但实际使用中,两者并没有严格的区分,下文均以新词指代。 在之前的博文中提到,中文分词中存在两个问题,未登录词识别和歧义切分,具体在《统计自然语言处理》...

2018-08-15 17:51:44

阅读数:1249

评论数:0

聚类:对聚类性能的评价

一、前言 对于有监督的学习方法,我们可以找到许多评价指标,但是要评价无监督算法的质量,相对来说比较少有提及,正好最近在做一个相关的工作,稍微整理一下。 二、方法 下述提及方法均以k-means算法为基础, 不同聚类方法有不同的评价指标,这里说说k-means常用的两种方法 1、肘部法则–E...

2018-07-10 21:06:00

阅读数:625

评论数:0

提示
确定要删除当前文章?
取消 删除