1、概述
在之前文章中已经对数据做了比较充分的处理,而且已经转化为张量,可以直接读取到tensorflow中进行训练。在本章中将构建神经网络模型来实现意图分析的训练与预测。
2、构建神经网络
为了更好的构建模型首先对输入数据进行简单分析,目前输入的每一个句子是由8个单词构成,每个单词都是一个300维的向量。而输出结果是一个整数的用于代表他们意图的编号。如下图所示:
2.1 构建卷积神经网络
之前的代码多为演示,在真正使用时还需略做调整,下面是真正生产环境下的代码:
from gensim.models import KeyedVectors
import jieba
import tensorflow as tf
import numpy as np
model = KeyedVectors.load('mymodel')
COLUMNS = ['text', 'class','class_id']
dataset = tf.data.TextLineDataset('data/data.csv')
dataset=dataset.map(_parse_csv)
dataset=dataset.repeat(1000)
dataset=dataset.shuffle(buffer_size=10000)
dataset=dataset.batch(100)
iterator =