应该是笔记的终篇了。前三篇分别介绍了文本分类的基本处理流程(补了张图在下面)、中文文本分类的代码实现以及关于模型训练的一些经验总结。这篇来记录关于TextCnn算法实现的原理和运算流程。
一、基本概念
卷积:矩阵卷积运算,比较典型的应用场景是图片处理。被卷积的对象是待提取特征的文本或图片的数据表示,也就是矩阵。
卷积核filter:是卷积的另外一个操作参数,一般是一个n*m的矩阵,在TextCnn中因为词向量维度上不需要横向卷积,因此m等于词向量长度,例如m=300,n则类似n-gram中的窗口,在句子的维度上滑动进行卷积操作。一个卷积核提取一种特征。
卷积运算过程参考:https://www.cnblogs.com/shine-lee/p/9932226.html
大多数讲解卷积操作的都是从二维矩阵上示例,便于理解卷积的过程。而实际上在算法的运算过程中还有提升卷积层输入数据/卷积核/卷积层输出数据的矩阵维度的三个参数:
Batch:批量输入时一次输入的数据条数。影响卷积层输入数据的矩阵维数。
例如一个最大句子长度(包含的分词个数)为N的样本,词向量为300维,批量一次输入64条样本,那么当前卷积层输入数据的维度就是[64,N,300]
输入通道数channel:单个样本输入算法时由多个矩阵值表示,分别输入算法,其中矩阵值个数就是channel数,影响卷积层输入数据的矩阵维数。
例如图片处理中,一张图片会根据三色原理分为红R、绿G、蓝B三个矩阵表示,各自走一个通道输入给算法,分别由卷积核在三个矩阵上单独提取特征,所以channel=3;而在TextCnn中静态static和non-static模式都是channel=1,即样本只用单个word embedding后的矩阵表示,只有在multichannel模式中做fine-tune和不做fine-tune的word embedding矩阵分别从两个channel输入给算法,此时channel=2。所以上面的例子中在static和non-static模式中输入矩阵维度变为为[64,N,300,1],multichannel模式中矩阵维度变为[64,N,300,2]。
输出通道数num_