动手学深度学习task2 文本预处理 主要为分词,在英文文本中一个空格隔开两个词语,在中文文本则需要使用分词技术,一般采用jieba分词,速度比较快,实际测试中thulac具有比较好的效果。 -语言模型 基于统计的语言模型,N元语法模型 -循环神经网络基础