tokenizer = lambda x: [y for y in x] :x 是一个句子,这句话就是定义一个tokenizer的函数,作用是将句子里面的每一个字提取出来
token = tokenizer(content) :#把一句话拆成一组单个字,返回一个列表1.
tokenizer = lambda x: [y for y in x] :x 是一个句子,这句话就是定义一个tokenizer的函数,作用是将句子里面的每一个字提取出来
token = tokenizer(content) :#把一句话拆成一组单个字,返回一个列表1.