token 即句子中独立的单词,也称标记(token),包括标点 在数据中保存为某单词 在词典 中的位置 ,类型为 tokenization 标记化(tokenization)把句子分解成独立的token的过程。 假设有两句话: s1:My n