ZSY的大后台

最近NAACL-2019接收列表出了，列出感兴趣的paper，供之后阅读：名称类型关键字阅读价值笔记Deep Adversarial Learning for NLPtutorialTransfer Learning in Natural Language ProcessingtutorialApplications of Natural L...

这篇博文主要是记录平常通过各类渠道（公众号推送、知乎浏览、博客阅读等等）获知的质量较高论文的笔记。可能有各个类别的，可能有几年的经典论文重读，或者是2018年好的科研成果，这里进行简要记录，之后基本都是要单开博文来详细写笔记的。名称来源类型时间阅读价值笔记An Introductory Survey on Attention Mechanisms in NLP Pro...

EMNLP 2018去年十一月开完会了，又出了很多文章。根据自己的兴趣点选了一些，平常慢慢读，持续更新到这篇博文。这篇博文记录下这些文章的简要笔记，好的文章会标上“TO BE CONTINUED”，之后会再开单独的博文来做笔记。列表如下：名称类型时间阅读价值笔记Improving Neural Abstractive Document Summarization wit...

情感分类属于文本分类的一个应用场景，一般都是人（用户）对某些具体事物（商品、事件）表达某些情感。落地场景是很多的。这学期最开始是做stance detection相关的工作，而其中target-specific stance detection和情感分类中的aspect-based sentiment analysis是很相关的，而AIC的比赛又正好是这个后者，所以顺便调研了下sentiment ...

这学期做了一些和stance detection相关的工作，列出自己阅读论文的列表，部分论文直接列出一些简单的笔记，这些论文可读性不强（方法过于简单，或者论文本身的贡献不在方法上，没有太多记录成笔记的价值…），部分论文会逐步完善，给出简单的阅读笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5（相对评分，即分值高低仅反映论文在以下列表中...

列出自己阅读的text classification论文的列表，以后有时间再整理相应的笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5。列表如下：名称所属会议类型时间阅读价值Recurrent Convolutional Neural Networks for Text ClassificationAAA...

列出自己阅读的fake news detection论文的列表，以后有时间再整理相应的笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关工作等，满分为5。列表如下：名称所属会议类型时间阅读价值“Liar, Liar Pants on Fire”: A New Benchmark Dataset for Fake News D...

本篇主要针对注意力（Attention）机制进行简要描述。Attention是为了解决Sequence-to-Sequence中的一些问题而提出的，本身的逻辑十分简洁。Attention的产生过程反映了解决问题的一种最直接的思路，正如Resnet中提出“残差”的概念一样，简单直接的就能解决问题，而且思路没有绕任何弯子。这在科研工作中是十分难得的。下面结合机器翻译问题来回顾下这整个过程。Se...

在讲述了大量的概率图模型后，本篇介绍下它发挥作用的主要场景——序列标注（Sequence Labaling）。序列包括时间序列以及general sequence，但两者无异。连续的序列在分析时也会先离散化处理。常见的序列有如：时序数据、本文句子、语音数据、等等。常见的序列问题有：拟合、预测未来节点（走势分析，如股票预测、销量预测等）判定序列所属类别，即分类问题（如语音识别，判断声音序列所...

本篇紧接上篇笔记(总结)-从马尔可夫模型到条件随机场-2，讲述条件随机场（Conditional Random Field）。条件随机场定义先给出几个相关概念的定义。 随机场:可看成是一组随机变量的集合(这组随机变量对应同一个样本空间)。这些随机变量之间可能有依赖关系，当给每一个位置中随机变量按照某种分布随机赋予相空间（相空间是一个用以表示出一系统所有可能状态的空间，...

本篇紧接上篇笔记(总结)-从马尔可夫模型到条件随机场-1，讲述最大熵模型（Maximum Entropy Model）。最大熵模型先来简单介绍下熵的概念，看看为什么要“最大熵”建模。 熵用来度量随机变量的不确定性。即熵越大，不确定性越大。举个例子，给定一个骰子，问抛出去后最终每个面朝上的概率是多少？一般人都会回答“等概率”。为什么这么回答？因为对这个“一无所知的“骰子，假...

本篇针对概率图模型做一个总结。顺序依次为： 马尔可夫模型（Markov Model，下称MM）⟹⟹\Longrightarrow 隐马尔可夫模型（Hidden Markov Model，下称HMM） 最大熵模型（Maximum Entropy Model，下称MEM）⟹⟹\Longrightarrow 最大熵隐马模型（Maximum Entropy Markov Model，下称MEMM）...

起源全连接神经网络能够很好地拟合复杂的样本特征，卷积神经网络能很好地建模局部与全局特征的关系。但它们都只能处理定长的输入、输出，而自然语言的处理对象一般是变长的语句，句子中各元素出现的顺序先后暗含着时序关系，循环神经网络（Recurrent Neural Network，下称RNN）能够较好地处理这种关系。基本结构RNN的基本思想是：将处理对象在时序上分解为具有相同结构的单元，单元...

神经网络是一棵根深叶茂的大树，有过许多果实，可是都略显青涩，无法摘食。直到2010年后，这棵大树才真正可谓硕果累累，其中最璀璨甘甜的就是卷积神经网络（Convolutional Neural Network，下称CNN）。在这之后，神经网络再次成为科研界的热点，在这个数据和算力初具规模的时代，神经网络终于展现出了应用的价值。闲话到此，只是想说明CNN对于神经网络的意义。本篇将主要讨论CNN的模型原...

之前笔记(总结)-统计语言模型主要介绍了统计语言模型。可以看到，最终对句子的建模为（以二元文法为例）： P(S)=p(w1)p(w2|w1)...p(wn|wn−1)P(S)=p(w1)p(w2|w1)...p(wn|wn−1)P(S)=p(w_1)p(w_2|w_1)...p(w_n|w_{n-1})核心问题在于如何计算参数p(wi|wi−1)p(wi|wi−1)p(w_i|w_{i-1}...

在自然语言处理的相关问题中，如何表示句子是建模分析的关键。与传统的图像、音频等天然可转化为计算机编码的元素不同，自然语言需要经过复杂编码才能被计算机识别。并且，这种编码是机械式的简单排列，设计初衷是为了解决自然语言的存储问题，编码本身不带有任何语言层面的信息。因此，直接使用自然语言的编码对文字进行转换而后建模是不可靠的，过程中丢失了太多的信息。语言模型正是解决了这样的问题。语言模型有很多种...

图嵌入（Graph Embedding，也叫Network Embedding）是一种将图数据（通常为高维稠密的矩阵）映射为低微稠密向量的过程，能够很好地解决图数据难以高效输入机器学习算法的问题。知识图谱属于异构图数据，即节点与边不只一种类型。了解图嵌入能帮助理解图数据的处理过程，拓展思考问题的思路（传统ML基本都是table类型的数据），也能对未来可能的知识图谱研究做一些铺垫准备。学习参考链接如...

文本分类是NLP领域最基本的应用场景，现实生活中很多问题都能划归为文本分类问题，诸如垃圾邮件分类、有害评论检测、新闻主题分类等。学术界里文本分类也是研究热点，从最初的模式识别方法到机器学习方法，再到近年来的深度学习方法，各类新型的算法都会尝试在文本分类上验证效果。而文本分类问题的普遍性也使得其成为了人工智能落地的一个重要案例。学习文本分类相关问题的解决方案，能在屏蔽NLP底层基础技术（诸如分词、词...

从大数据时代——>人工智能，生活中各场景下的大数据问题都能用大数据+人工智能算法的配方进行求解。诸如分类、回归等有监督学习问题都得到了很好的解决，但监督学习需要大量标注数据，这一限制使得很多场景无法依靠人工智能的红利。因此，无监督学习正慢慢成为研究热点。VAE便是其中的典型代表。VAE的设计结构具有严谨的数学理论指导，粗略看了一遍，没有太理解，在此mark住，以后有需要再回来学习。链接如下：...

深度学习发展至今，虽然取得了很多成果，但其使用门槛依旧很高。对神经网络进行调参从而达到解决问题的效果，需要使用者具有一定的机器学习背景和调参经验，现实情况往往是（不论工业界还是学术界）使用学术界经过沉淀后的经典模型与典型参数设置，并在之上做细微的调整。这极大地限制了人们的思维，网络结构仍然是基于人的经验。既然计算机算法到目前为止已经具有了相当的智能水平，能否让算法来设计神经网络架构并评判优劣呢？G...