print(tokens)
token_ids = tokenizer.convert_tokens_to_ids(tokens)
print(token_ids)
token_ids_s2e = tokenizer.encode(sequence)
print(token_ids_s2e)
输出结果:
21128
3791
[‘法’, ‘国’, ‘的’, ‘首’, ‘都’, ‘是’, ‘巴’, ‘黎’]
[3791, 1744, 4638, 7674, 6963, 3221, 2349, 7944]
[101, 3791, 1744, 4638, 7674, 6963, 3221, 2349, 7944, 102]
token\_ids\_s2e 中多了 101 和 102
sequence1 = tokenizer.decode(token_ids)
print(sequence1)
sequence2 = tokenizer.decode(token_ids_s2e)
print(sequence2)
输出结果:
法 国 的 首 都 是 巴 黎
[CLS] 法 国 的 首 都 是 巴 黎 [SEP]
101 代表 CLS,是文本的开头
102 代表 SEP,是文本的分隔符
## 2. 编解码多段文本
sequence_batch = [“法国的首都是巴黎”,“美国的首都是华盛顿特区” ]
token_ids_batch = tokenizer.encode(sequence_batch)
print(token_ids_batch)
sequence_ba