浅析NLP中的CNN卷积神经网络

浅析NLP中的CNN卷积神经网络

CNN卷积神经网络多见于图像识别或图像处理任务。但是在NLP（自然语言处理）任务中也有它的用武之地。在这里对卷积神经网络进行简单的介绍，并对一维卷积神经网络在NLP任务中的使用进行简单的介绍，希望对接触或使用CNN的小伙伴们有帮助，也欢迎大家就原理及内容进行评论探讨。

一、中文自然语言处理之词共现概率简介

中文文本有其特有的语法特点，每个字本身都具有一定的含义。连字成词，连词成文。这就意味着，词共现概率可以在中文文本的NLP任务重发挥重要作用。
什么是词共现概率呢？简单说，形式上就是一种条件概率。条件就是“单词A出现”，然后概率值的的含义就是当“单词A出现”时，相邻的单词B出现的概率，以此类推。
在训练模型时需要设定好窗口范围，比如当前词前两个词加后两个词，共五个词，的共现概率可以组成一个数组。通过这种方式，可以将分好词的文本向量化。

二、什么是卷积神经网络

卷积，其实是自然界中最常见的现象。一句话，就是移位乘加运算。
核心在于，根据任务的不同，怎样设计卷积的维度与窗口，并设定好移位卷积运算的步长。

三、一维卷积神经网络在NLP任务中的应用

中文文本是序列化的语言，在进行数字化、向量化时，特别适合做成一维数据序列。这样设计的神经网络模型运算效率会比较高。
卷积神经网络处理中文文本的优势在于特征提取速度快，缺点是卷积窗口覆盖范围内的文本原词之间的相互联系体现不出来。可以通过配合词共现概率的数字化方式得以弥补和改善。