4.7 LSTM文本分类实战

文本数据处理基本流程

分为三个步骤：

• 第一步：分词或者分字：比如有一句话今天下午吃你，分词： 今天  下午   吃  你 ； 分字：今  天  下  午  吃  你；
• 第二步：ID替换：每个字或者词，分配对应的ID，比如天，今、上，下等的ID依次为0，1，2，3，4，5，6，7，.。此表称为语料表或语料库。，则今天下午吃你，用ID表示就是1，0，3，4，5，7
• 第三步：词嵌入：由于上面我们用ID表示不是很合适，很多词都是意义的，ID无法表达出来这种含义，需要做Embedding(词嵌入），词嵌入就是把每个字用了个向量表示，而这个向量一般都是大厂训练出来的。比如，索引0对应的字，对用一个300维向量，索引1对用一个300维向量，则“今天下午吃你”中每个字都替换成对应300向量.

以上不论是分词还是分字都不是由我们决定的，而是由我们的Embedding表决定，它若是把一字映射成300维向量，则做分字。若是把一个词映射成300维向量，则做分词。

输出是什么：

假设batch =64, max_len = 30, embedding_len = 300,则输出是64*30*300？但是文本长度有长有短，