NLP文本分类入门学习及TextCnn实践笔记——算法实现(四)

应该是笔记的终篇了。前三篇分别介绍了文本分类的基本处理流程(补了张图在下面)、中文文本分类的代码实现以及关于模型训练的一些经验总结。这篇来记录关于TextCnn算法实现的原理和运算流程

一、基本概念

卷积:矩阵卷积运算,比较典型的应用场景是图片处理。被卷积的对象是待提取特征的文本或图片的数据表示,也就是矩阵。

卷积核filter:是卷积的另外一个操作参数,一般是一个n*m的矩阵,在TextCnn中因为词向量维度上不需要横向卷积,因此m等于词向量长度,例如m=300,n则类似n-gram中的窗口,在句子的维度上滑动进行卷积操作。一个卷积核提取一种特征。

卷积运算过程参考:https://www.cnblogs.com/shine-lee/p/9932226.html

大多数讲解卷积操作的都是从二维矩阵上示例,便于理解卷积的过程。而实际上在算法的运算过程中还有提升卷积层输入数据/卷积核/卷积层输出数据的矩阵维度的三个参数

Batch:批量输入时一次输入的数据条数。影响卷积层输入数据的矩阵维数。

例如一个最大句子长度(包含的分词个数)为N的样本,词向量为300维,批量一次输入64条样本,那么当前卷积层输入数据的维度就是[64,N,300]

输入通道数channel:单个样本输入算法时由多个矩阵值表示,分别输入算法,其中矩阵值个数就是channel数,影响卷积层输入数据的矩阵维数。

例如图片处理中,一张图片会根据三色原理分为红R、绿G、蓝B三个矩阵表示,各自走一个通道输入给算法,分别由卷积核在三个矩阵上单独提取特征,所以channel=3;而在TextCnn中静态static和non-static模式都是channel=1,即样本只用单个word embedding后的矩阵表示,只有在multichannel模式中做fine-tune和不做fine-tune的word embedding矩阵分别从两个channel输入给算法,此时channel=2。所以上面的例子中在static和non-static模式中输入矩阵维度变为为[64,N,300,1],multichannel模式中矩阵维度变为[64,N,300,2]。

输出通道数num_

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值