一维卷积处理文本,在某些场合,效果非常好
函数定义如下:
tf.layers.conv1d(
inputs,
filters,
kernel_size,
strides=1,
padding='valid',
data_format='channels_last',
dilation_rate=1,
activation=None,
use_bias=True,
kernel_initializer=None,
bias_initializer=tf.zeros_initializer(),
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None,
bias_constraint=None,
trainable=True,
name=None,
reuse=None
)
比较重要的几个参数是inputs, filters, kernel_size,下面分别说明
inputs: 这个参数一般是经过词向量大矩阵embedding得到,如下
inputs = tf.nn.embedding_lookup(embedding, self.input_x)
其维度是:(batch_size, max_seqlength, embedding_dim) ,第三个维度是词向量矩阵维度
filters : 过滤器的个数,和conv2d差不多
kernel_size : 卷积核的大小,卷积核其实应该是一个二维的,维度是(3,embeding_dim),这里只需要指定一维,是因为卷积核的第二维与输入的词向量维度是一致的,(个人理解:如果第二个维度不是和embendding_dim一样,那么一句话顺序将会被打乱)因为对于句子而言,卷积的移动方向只能是沿着词的方向,即只能在列维度移动
说明: 对于batch_size个样本而言,句子长度为6个字,字向量的维度为8
filters=5, kernel_size=3, 所以卷积核的维度为38
那么输入68经过38的卷积核卷积后得到的是41的一个向量(4=6-3+1)
又因为有5个过滤器,则结果应该是横向拼接,维度是 4x5
最终的维度是 [batch_size, 4, 5]
画图如下: