真实类别标签构建标签索引字典。
构建字符索引字典
将输入句子切分为字符级别,然后生成字符级别的索引字典(通过索引找词,通过索引找向量方便)。
将输入句子转换为索引
补齐和截断,
补齐时(补齐的索引不重要,需要设置一下标志符区分,以区分真实字符索引)
以上数据如何放到模型中?
词嵌入层(embedding编码)
对词语进行embedding得到向量
输入:[batch_size,seq_length]
输出:[batch_size,seq_length,dim]
融入其他特征信息到词嵌入层中
位置信息:
位置设置长度[1,seq_len,dim]根据batch_size,使得一个batch_size所有句子都拼接一样的向量。
标志信息:
0,1表示上一句所有词,下一句所有词,见比较两句话相似度的任务
初始向量维度[2,768],两种不能可能性
构建长度为[batch_size*seq_len,2]的one-hot向量进行矩阵乘法,得到[batch_size,seq_len,768]