#动手学深度学习第二篇
文本预处理
文本是一类序列数据,一篇文章可以看作是字符或单词的序列。用神经网络处理文本时会存在一个问题,文本实际上是字符串,但神经网络是做数值处理,无法直接作用于字符串,因此,我们需要对文本进行预处理。
文本预处理主要有:读入文本、分词、建立字典、将词转化为索引等。
用现有工具进行分词:使用spaCy、使用MLTK。
#动手学深度学习第二篇
文本预处理
文本是一类序列数据,一篇文章可以看作是字符或单词的序列。用神经网络处理文本时会存在一个问题,文本实际上是字符串,但神经网络是做数值处理,无法直接作用于字符串,因此,我们需要对文本进行预处理。
文本预处理主要有:读入文本、分词、建立字典、将词转化为索引等。
用现有工具进行分词:使用spaCy、使用MLTK。