NLP冻手之路(1)——中文/英文字典与分词操作(Tokenizer)

已于 2022-10-17 15:16:16 修改
阅读量4.7k 收藏 27
点赞数 4
分类专栏： NLP基础学习笔记 文章标签： 自然语言处理 python 深度学习
于 2022-10-17 14:34:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wang_Dou_Dou_/article/details/127360500
版权

✅ NLP 研 0 选手的学习笔记

文章目录

一、需要的环境

● python 需要 3.6+，pytorch 需要 1.10+

● 本文使用的库基于 Hugging Face Transformer，官网链接：https://huggingface.co/docs/transformers/index 【一个很不错的开源网站，针对于 transformer 框架做了很多大集成，目前 github 72.3k ⭐️】

● 安装 Hugging Face Transformer 的库只需要在终端输入 pip install transformers【这是 pip 安装方法】；如果你用的是 conda，则输入 conda install -c huggingface transformers


二、字典的使用

● 首先，我们导入 transformers 库的 BertTokenizer 类，并 print 一下它的 help 信息，待会我们要用它来做分词。

from transformers import BertTokenizer
print("BertTokenizer:", help(BertTokenizer))

● 结果非常的大，有 6 万多字的说明，你可以将其作为参考说明书来 ctrl+F 使用：

● 我们调用 BertTokenizer 类里面的 from_pretrained 函数，来构造一个 字典。

# 不同模型的分词方法是不同的
my_tokenizer = BertTokenizer.from_pretrained(
    pretrained_model_name_or_path='bert-base-chinese',  # 下载基于 BERT 模型的分词方法的中文字典包
    cache_dir='./my_vocab',  # 字典的下载位置
    force_download=False  # 不会重复下载
)  # 执行这条语句时会加载一点时间

● 然后多出一个名为 my_vocab 的文件夹，里面装有我们的 字典。记事本打开如下，其中 行号-1 代表的是一个中文分词的对应的 token。
在这里插入图片描述
在这里插入图片描述
● 我们可以获取 字典 ，并看看 选 这个字所对应的 token 是多少？如下框所示，6848 正好是上图的 行号-1。为什么这样呢？因为 txt 文本的行是从 1 开始的，而 字典 的 token 的是从 0 开始算的。

# 获取字典
zidian = my_tokenizer.get_vocab()
print(type(zidian), len(zidian), zidian['选'])

输出结果为：
<class 'dict'> 21128 6848  # 21128 是字典的大小(即字的个数)

● 字典 里的中文 token 一般都是一个字儿一个字儿的，并没有像 哈喽 这样的词语，那我们其实也可以添加进去：【注：这个添加是在缓存中添加，并没有在那个下载下来的 txt 中添加】

print('哈喽' in zidian) # 查看 '哈喽' 这个东西是否在字典中
my_tokenizer.add_tokens(new_tokens=['哈喽', '蓝天'])  # 添加新词
my_tokenizer.add_special_tokens({'eos_token': '[EOS]'})  # 添加新符号, EOS: end of sentence
zidian = my_tokenizer.get_vocab() # 再次获取字典
print('哈喽' in zidian, zidian['哈喽'], zidian['[EOS]'])  # zidian['哈喽']: 可查看 '哈喽' 这个东西在字典中位置

输出结果为：
False
True 21128 21130

三、简单的编码与解码

● 首先，我们定义一个装有三个句子且名为 test_sentences 的 list 。

test_sentences = [
    '这笔记本打游戏很爽！',
    'i like to eat apple.',
    '研0的日子也不好过啊，呜呜呜。',
    '一二三四五，12 345.'
]

● 调用 BertTokenizer 类中的简单编码函数 encode 和 解码函数 decode 如下。编码：即把每一个 字 在 字典 中所对应的 token 找到，然后替换掉，并且加入 special_tokens。解码：即把所有的 token 转换为原来的 字（注意：像 [EOS]、[PAD] 这样的东西可理解为广义的 字；另外，英文的话，一个单词才是一个 字）。

# 简单的编码
encode_output = my_tokenizer.encode(
    text=test_sentences[0],  # 第一个句子, 即 '选择珠江花园的原因就是方便。'
    text_pair=test_sentences[1],  # 第二个句子, 即 '这笔记本打游戏很爽！'
    max_length=30,  # 编码一个句子的最大长度
    truncation=True,  # 当句子长度大于 max_length 时, 截断
    add_special_tokens=True,  # 加入特殊的 token, 例如 [CLS]、[SEP]
    padding='max_length',  # 一律补 pad 到 max_length 长度
    return_tensors=None,  # 默认用 list 形式返回
)
print("encode_output:", encode_output)
decode_output = my_tokenizer.decode(encode_output)
print("decode_output:", decode_output)

输出结果为：
encode_output: [101, 6821, 5011, 6381, 3315, 2802, 3952, 2767, 2523, 4272, 8013, 102, 151, 8993, 8228, 9714, 8165, 8350, 119, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
decode_output: [CLS] 这 笔 记 本 打 游 戏 很 爽 ！ [SEP] i like to eat apple. [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]

四、增强的编码与解码

● 调用 BertTokenizer 类中的增强的编码函数 encode_plus 和 解码函数 decode 如下。增强的功能见注释。

# 增强的编码函数
encode_plus_output = my_tokenizer.encode_plus(
    text=test_sentences[0],
    text_pair=test_sentences[1],
    truncation=True,
    max_length=30,
    padding='max_length',
    add_special_tokens=True,
    return_tensors=None,
    return_token_type_ids=True,  # 返回 token_type_ids
    return_attention_mask=True,  # 返回 attention_mask
    return_special_tokens_mask=True,  # 返回 special_tokens_mask
    return_length=True,  # 返回合并后的整个句子长度
)
for k, v in encode_plus_output.items():
    print(k, ':', v)
decode_output = my_tokenizer.decode(encode_plus_output['input_ids'])
print("decode_output:", decode_output)

# input_ids: 编码后的 token
# token_type_ids: 第一个句子和特殊符号的位置是 0 , 第二个句子的位置是 1
# special_tokens_mask:特殊符号的位置是 1 , 其他位置是 0
# attention_mask: 其中 pad 的位置是 0 , 其他位置是 1
# length: 合并后的整个句子长度
输出：
input_ids : [101, 6821, 5011, 6381, 3315, 2802, 3952, 2767, 2523, 4272, 8013, 102, 151, 8993, 8228, 9714, 8165, 8350, 119, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
token_type_ids : [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
special_tokens_mask : [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
attention_mask : [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
length : 30
decode_output: [CLS] 这 笔 记 本 打 游 戏 很 爽 ！ [SEP] i like to eat apple. [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]

五、批量的编码与解码

● 调用 BertTokenizer 类中的批量增强编码函数 batch_encode_eplus 和 批量解码函数 batch_decode 如下。批量的功能见注释。

# 批量的编码函数
encode_plus_output = my_tokenizer.batch_encode_plus(
    batch_text_or_text_pairs=[test_sentences[0], test_sentences[1], test_sentences[2]],  # 批量的 batch_size 为 3
    truncation=True,
    max_length=20,
    padding='max_length',
    add_special_tokens=True,
    return_tensors=None,
    return_token_type_ids=True,
    return_attention_mask=True,
    return_special_tokens_mask=True,
    return_length=True,
)
for k, v in encode_plus_output.items():
    print(k, ':', v)
decode_output = my_tokenizer.batch_decode(encode_plus_output['input_ids'])  # 批量解码函数
print("decode_output:", decode_output)

输出：
input_ids : [[101, 6821, 5011, 6381, 3315, 2802, 3952, 2767, 2523, 4272, 8013, 102, 0, 0, 0, 0], [101, 151, 8993, 8228, 9714, 8165, 8350, 119, 102, 0, 0, 0, 0, 0, 0, 0], [101, 4777, 121, 4638, 3189, 2094, 738, 679, 1962, 6814, 1557, 8024, 1449, 1449, 1449, 102]]
token_type_ids : [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]
special_tokens_mask : [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1], [1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1], [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]]
length : [12, 9, 16]
attention_mask : [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0], [1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]
decode_output: ['[CLS] 这 笔 记 本 打 游 戏 很 爽 ！ [SEP] [PAD] [PAD] [PAD] [PAD]', '[CLS] i like to eat apple. [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]', '[CLS] 研 0 的 日 子 也 不 好 过 啊 ， 呜 呜 呜 [SEP]']

五、批量成对的编码与解码

● 为什么要 批量成对 呢？因为后续在实际的模型训练中要用到这个方法，所以得学习一下。与 “四、批量的编码与解码” 不同的一点在于 batch_text_or_text_pairs 的设置。

# 批量成对的编码函数
encode_plus_output = my_tokenizer.batch_encode_plus(
    # 在一个 batch 中, 有 2 个 tuple, 每个 tuple 中有 2 个句子(这两个句子就是 "成对" 的意思)
    batch_text_or_text_pairs=[(test_sentences[0], test_sentences[1]), (test_sentences[2], test_sentences[3])],
    truncation=True,
    max_length=30,
    padding='max_length',
    add_special_tokens=True,
    return_tensors=None,
    return_token_type_ids=True,
    return_attention_mask=True,
    return_special_tokens_mask=True,
    return_length=True,
)
for k, v in encode_plus_output.items():
    print(k, ':', v)
decode_output = my_tokenizer.batch_decode(encode_plus_output['input_ids'])  # 批量解码函数
print("decode_output:", decode_output)

输出：
input_ids : [[101, 6821, 5011, 6381, 3315, 2802, 3952, 2767, 2523, 4272, 8013, 102, 151, 8993, 8228, 9714, 8165, 8350, 119, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [101, 4777, 121, 4638, 3189, 2094, 738, 679, 1962, 6814, 1557, 8024, 1449, 1449, 1449, 511, 102, 671, 753, 676, 1724, 758, 8024, 8110, 11434, 119, 102, 0, 0, 0]]
token_type_ids : [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0]]
special_tokens_mask : [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1]]
length : [20, 27]
attention_mask : [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0]]
decode_output: ['[CLS] 这 笔 记 本 打 游 戏 很 爽 ！ [SEP] i like to eat apple. [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]', '[CLS] 研 0 的 日 子 也 不 好 过 啊 ， 呜 呜 呜 。 [SEP] 一 二 三 四 五 ， 12 345. [SEP] [PAD] [PAD] [PAD]']
# 注意：对于 “12 345” 这句话而言，中间的 空格 相当于把 “12345” 分成了两个 字，分别是 “12” 和 “345”，而那个 空格，是不算 字 的。

六、补充说明

● 若有写得不对的地方，或有疑问，欢迎评论交流。

● 参考视频：HuggingFace简明教程,BERT中文模型实战示例.NLP预训练模型,Transformers类库,datasets类库快速入门.

⭐️ ⭐️

一支王同学
关注
  • 4
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
中文实体词典(NLP必备)
02-25
此词典由多个txt文件构成，各个txt分别为不同的类别，比如动漫、电影、电视剧、明星、篮球、美食等多个分类，每个txt中均为对应类目下的中文实体词典，对于分词，命名实体识别的准确率提升十分有帮助！
Huggingface tokenizer decode batch_decode报错解决思路与分析
sjxgghg的博客
07-17 2552
由tokenizer.decode报错开始，叙述笔者如何解决这个bug，并深入源码理清 decode 与 batch_decode的区别。
使用Huggingface中的模型创建中文分词器
最新发布
m0_50807424的博客
06-26 327
使用预训练模型的分词器
【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）
热门推荐
HJ_blog
01-14 1万+
【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）
使用BERT进行文本分类
Python_Ai_Road的博客
06-05 3487
本范例我们微调transformers中的BERT来处理文本情感分类任务。我们的数据集是美团外卖的用户评论数据集。模型目标是把评论分成好评(标签为1)和差评(标签为0)。#安装库 #!pipinstalldatasets #!pipinstalltransformers[torch] #!pipinstalltorchkeras公众号算法美食屋后台回复关键词 torchkeras, ...
tokenizer.batch_encode_plus
为学日益 为道日损
08-18 9305
注释是输出 tokenizer = BertTokenizer.from_pretrained('C:\\Users\\lgy\\Desktop\\fsdownload\\bert-base-uncased') print(tokenizer.mask_token) # [MASK] print(tokenizer.convert_tokens_to_ids('a')) # 1037 print(tokenizer.convert_ids_to_tokens(1037)) # a string = "
tokenizer:一个简单的中文分词算法，可用于网游脏词过滤、搜索引擎文档解析、自然语言处理等需要中文分词的场合
04-27
洋文单词以空格天然分词，相比较而言因为一句中文是由连贯的字组成的，分词就麻烦一些。最困难的情况是对二义性句子的分割问题。比如“搜索引擎”这四个字，可以拆成“搜索”和“引擎”，但“索引”也是一个中文词汇...
基于HanLP自然语言处理包的elasticsearch分词器 hanlp-tokenizer-master
04-22
基于HanLP自然语言处理包的elasticsearch分词器 功能 本分词器使用HanLP提供的维特比分词 屏蔽了本地配置用户词典 增加同义词索引功能 增加远程词典热更新（用户词典，停词典，同义词典） 使用 目前支持的es版本为...
准确分词之加载自定义字典分词.zip
09-28
2.2.添加hanlp分词自定义词典，在"/home/kuo/NLP/module/hanlp/data/dictionary/custom/"下 2.2.1.删除"CustomDictionary.txt.bin" 2.2.2.在“CustomDictionary.txt”中添加 ``` 数据库设计 n 4729 TNM分期 n ...
自然语言处理：用paddle对人民日报语料进行分词，停用词，数据清洗和熵计算
12-22
首先，分词是自然语言处理的基础步骤，它将连续的汉字序列切分成具有独立含义的词语。在Python中，jieba是一个广泛使用的中文分词库，被誉为"结巴"分词。jieba提供了四种分词模式：精确模式、全模式、搜索引擎模式和...
solr中文分词器
12-08
4. LTP（LanTu NLP Platform）：哈工大推出的一套完整的自然语言处理工具包，其分词效果在学术界受到认可。 四、配置与使用 在Solr中，配置中文分词器通常涉及以下步骤： 1. 添加分词器JAR到Solr的lib目录。 2. ...
chop:适用于Python的中文Tokenizer模块
05-09
chop Python 中文分词工具包 欢迎 GitHub: Pypi: 依赖 Python3 使用说明 代码对 Python 3 兼容 全自动安装： easy_install chop 或者 pip install chop / pip3 install chop 接口 from chop.hmm import Tokenizer as HMMTokenizer from chop.mmseg import Tokenizer as MMSEGTokenizer sentence = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作。" def main(): HT = HMMTokenizer() MT = MMSEGTokenizer() print('HMM Tokenizer:', ' '.join(HT.cut(senten
英文文本分词jar包与代码
04-13
文本分词
中文自动文本摘要生成指标计算，Rouge/Bleu/BertScore/QA代码实现
daotianweng的博客
04-15 9576
本部分讲述下如何计算生成摘要与参考摘要的指标，指标方面分为两类，一类基于n-grams计算，如Rouge-1，Rouge-2，Rouge-L，BLEU，主要衡量摘要的句法的连贯性，不能衡量生成摘要的真实性与忠诚程度，另一类基于蕴含或者QA等辅助手段，这种方式能够更好的衡量生成摘要的忠诚度，如FEQA，QuestEval。代码中均为transformers库中计算代码。 至于摘要生成过程中存在的幻觉问题，如内在的无中生有，外在的无中生有，有一篇很好的综述：https://arxiv.org/pdf/2202
30行代码-使用预训练模型实现中英文翻译
m0_60707623的博客
04-05 1203
使用facebook/m2m408M模型实现中英文翻译机器人
文本生成任务
Gu_NN的博客
09-01 1331
这里写目录标题因果语言模型数据加载数据预处理微调预训练模型掩蔽语言模型数据加载数据预处理微调预训练模型机器翻译安装库数据加载数据预处理微调预训练模型生成摘要安装库数据加载数据预处理微调预训练模型 因果语言模型 因果语言模型（Causal language modeling，CLM） 是用来预测句子中的下一位置处的字符。 数据加载 数据集：维基百科 from datasets import load_dataset datasets = load_dataset('wikitext', 'wikitext
模型训练检测方案
PennyYu123的博客
05-09 348
总体而言，本文提出的监测方案在实现上并不复杂，代码开发量也很少。但是这套功能确实在模型训练中扮演了重要角色，帮助我排查了很多异常问题，因此欢迎有兴趣的小伙伴们尝试使用。
Transformer入门-Huggingface的基础03-tokenizer的使用
qq_37977007的博客
07-18 1276
这一节主要介绍关于Transformer中huggingface下的tokenizer，首先简答的介绍tokenizer,然后介绍如何使用tokenzier以及tokenizer的基本原理，帮助大家更好的了解大预言模型的分词
中英文文本预处理软件、工具和算法
清闲居
12-21 4749
1.中文分词、词性标注 中科院：ictclas http://www.ictclas.org/sub_1_1.html 具体使用方面看他里面的例子及文档很详细。突出功能是分词功能，还有命名实体识别功能。   哈工大信息检索实验室：LTP 语言技术平台 http://ir.hit.edu.cn/ http://ir.hit.edu.cn/demo/ltp/S
简易中文分词算法(python)_Python 中文分词：用纯python实现 / FMM 算法 / pymmseg-cpp / smallseg / judou 句读 / BECer-GAE...
05-18
中文分词是自然语言处理领域的一个重要问题。以下是几个常用的简易中文分词算法及其实现方式： 1. FMM 算法（正向最大匹配算法） FMM 算法是最早的一种中文分词算法，其基本思想是从前向后扫描文本，按照词典中最长词的长度进行匹配。如果匹配成功，则将该词切分出来，继续扫描后面的文本。如果匹配不成功，则将当前字符作为单字切分出来，继续扫描后面的文本。 以下是 FMM 算法的简单实现方式： ```python def fmm(text, dictionary): result = [] i = 0 while i < len(text): for j in range(len(dictionary), 0, -1): if text[i:i+j] in dictionary: result.append(text[i:i+j]) i += j break else: result.append(text[i]) i += 1 return result ``` 其中，text 表示待分词的文本，dictionary 表示词典。该算法的时间复杂度为 O(n^2)，在处理长度较长的文本时速度较慢。 2. pymmseg-cpp pymmseg-cpp 是一个基于 C++ 实现的中文分词库，可以通过 Python 调用其提供的接口进行分词。 以下是使用 pymmseg-cpp 进行中文分词的示例代码： ```python import mmseg def seg(text): algor = mmseg.Algorithm(text) result = [] for tok in algor: result.append(tok.text) return result ``` 3. smallseg smallseg 是一个简单的中文分词库，其实现方式类似于 FMM 算法。 以下是使用 smallseg 进行中文分词的示例代码： ```python from smallseg import SEG def seg(text): seg = SEG() result = [] for word in seg.cut(text): result.append(word) return result ``` 4. judou 句读 judou 句读是一个基于规则和机器学习的中文分词库，可以识别并切分一些特殊结构的短语，如时间、地点、人名、机构名等。 以下是使用 judou 进行中文分词的示例代码： ```python from judou import JudouTokenizer def seg(text): tokenizer = JudouTokenizer() result = tokenizer.tokenize(text, 'list') return result ``` 5. BECer-GAE BECer-GAE 是一个基于神经网络的中文分词库，可以识别出新词和未登录词。 以下是使用 BECer-GAE 进行中文分词的示例代码： ```python import becer def seg(text): model = becer.load_model() result = model.segment(text) return result ``` 以上是几种常用的简易中文分词算法及其实现方式，每种算法都有其优缺点，具体使用时需要根据实际情况进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一支王同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值