码农三叔

（1）下面的两行代码从原始的 DataFrame 中选择了只包含 'OriginalTweet'（原始微博）和 'Sentiment'（情感）列的子集，并分别更新了 df 和 df_test。（7）下面的这段代码通过循环遍历清理后的微博文本，计算每条微博的单词数量，并将结果存储在名为 'text_len' 的新列中，分别用于训练集（df）和测试集（df_test）中。这个过程旨在生成一个列，记录清理后的文本的长度，以便检查清理过程是否移除了过多的文本，甚至几乎完全删除了微博的内容。

假期结束，聚餐结束。

此外，还引入了Hugging Face的transformers库，用于使用BERT和roBERTa模型进行文本处理。最后，为了结果的可重现性，设置了一个种子（seed），并对绘图样式进行了一些配置。通过传入真实标签 y、预测标签 y_pred 和图表标题 title，生成一个热力图，以可视化模型在分类任务中的性能。其次，导入多个Python库，涵盖数据处理、机器学习、文本处理和可视化，以及深度学习方面的模型建立。最后，定义了一个函数用于生成混淆矩阵热力图，以评估模型在文本分类任务中的性能。

本项目实现了对BERT和RoBERTa大模型的训练工作，每个算法每个时期的训练时间约为11分钟，总共进行了4个时期，并利用GPU进行了加速。本项目使用大模型技术实现，集成了BERT和RoBERTa大模型，利用它们在大规模文本数据上学到的深层语义表示，有效地解决了微博数据信息情感分析这一复杂的任务。综合来看，本项目中的大模型技术集成了BERT和RoBERTa，利用它们在大规模文本数据上学到的深层语义表示，有效地解决了微博情感分析这一复杂任务。本项目的模块架构如图11-1所示。图11-1 模块架构图。

随着社交媒体的普及和用户规模的不断扩大，对于分析和理解社交媒体上的情感信息变得愈发重要。微博作为一个广受欢迎的社交媒体平台，每天都涌现出大量的文本信息，其中蕴含着用户的情感和观点。因此，对微博文本进行情感分析，即判断文本所表达的情感是积极、中性还是消极，不仅有助于了解用户的情感倾向，还可以在社交媒体营销、品牌管理和舆情监测等领域发挥重要作用。情感分析是一种通过自然语言处理技术，对文本中的情感色彩和情感倾向进行分析的重要任务。

然后，读取模型的配置文件（"config.json"），更新其中的标签映射（id2label和label2id），最后再次保存更新后的配置文件。首先，加载了微调后的NER模型和相应的分词器，然后通过管道对用户输入的文本例子进行NER标签的预测，最后输出预测结果。（19）通过下面的代码，用户可以输入任意文本例子，该代码将利用预训练的NER模型对用户输入的文本进行实体标签的预测，并将预测结果输出显示。（18）调用预训练的NER模型，对给定的文本进行实体标签的预测，并输出带有彩色标记的结果。

最后，使用训练得到的NER模型，源码演示了如何进行实体标签的预测，包括手动实现的方法和transformers库中的pipeline。最后，打印了数据集中记录的数量，并显示了前5行聚合后的数据，以展示每个句子的全部数据。上面的输出是一个模型参数的下载提示，表示正在下载模型的安全张量（safetensors），下载的速度是436MB/秒。下载过程的日志显示了相应模型文件的下载过程。执行上述代码后绘制了含有两个子图的可视化图，第一个子图展示了标签通用部分的计数，即不考虑位置信息的标签统计，具体说明如下所示。

BERT在自然语言处理（NLP）领域的成功应用广泛，它的预训练模型能够学到通用的语言表示，从而在各种NLP任务中取得了出色的性能。在本节的内容中，将通过具体实例展示BERT在常见NLP任务中的应用过程。

在"fine_tuned_bert_model"目录中包含了微调后的BERT模型的相关文件，这些文件通常是Hugging Face Transformers库默认的模型保存结构，其中包括了模型的权重、配置信息、词汇表等。在上述代码中，'bert-base-uncased' 库Hugging Face Transformers中的一个预训练的BERT模型的名称，这个名称用于指定加载的预训练模型，具体说明如下所示。（3）修改模型结构，调整输出层：针对特定任务，修改BERT模型的输出层以适应任务的标签数。

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由Google在2018年提出。BERT的创新之处在于采用了双向（bidirectional）的预训练方法，相较于传统的单向语言模型，这使得BERT在理解上下文时能够更好地捕捉语境信息。本章的内容中，将详细讲解在自然语言处理中使用BERT模型的知识。

（21）下面代码定义了一系列用于可视化语义分割和泛素分割结果的函数，包括了对输入图像、分割图和叠加视图进行可视化的功能。接着，加载解压后的模型，并使用该模型对输入图像进行预测。在上述代码中，最后通过 set_input(image) 设置输入图像后，调用 函数segment_image('overlay','COCO-stuff','san_vit_b_16') 进行图像分割，并选择 overlay 可视化模式、COCO-stuff 语义模式以及 'san_vit_b_16' 模型。

（12）使用 Hugging Face Transformers 库加载了一个预训练的 Mask2Former 模型（facebook/mask2former-swin-small-coco-instance）以及相应的图像处理器，接着将图像输入到模型中，获取模型的输出。在上述代码中，通过 np.argmax(logits.detach().numpy()[0],axis=0) 获取了沿着第一个轴的最大值的索引，以得到 MobileViT 模型的预测的语义分割标签。最后，代码在Colab中显示保存的图像。

（7）使用 库Hugging Face Transformers加载了一个预训练的 BEiT（Be Vision Transformer）模型（microsoft/beit-base-finetuned-ade-640-640）以及相应的图像处理器，接着将图像输入到模型中，获取模型的输出。（4）使用函数plt.imshow()显示分割后的图像，注意，如果 panoptic_seg 是一个分割标签的二维数组，你可能需要使用一个 colormap 来为不同的标签分配不同的颜色，以便更清晰地可视化语义分割结果。

上面的输出结果显示了每个训练周期的损失值（loss）和准确率（accuracy），以及在验证数据集上的相应值（val_loss 和 val_accuracy）。最后，从测试集中随机选择英文句子，使用训练好的模型进行翻译，输出原始英文句子和对应的生成俄语翻译。（22）使用如下命令安装或升级TensorFlow Addons库，TensorFlow Addons（TFA）是一个用于 TensorFlow 的扩展包，提供了一系列额外的工具和功能，用于加速和扩展 TensorFlow 的功能。

Transformer模型在自然语言处理（NLP）领域中取得了巨大的成功，广泛应用于各种任务，例如机器翻译、文本生成、情感分析、语义分割、问答系统、语言建模和推荐系统等领域。

Transformer模型是一种用于自然语言处理和其他序列到序列任务的深度学习模型，最早由Google的研究人员在2017年提出，并在NIPS（Neural Information Processing Systems）会议上发表了题为《Attention is All You Need》的论文。在本章的内容中，将详细讲解在自然语言处理中使用Transformer模型的知识。

（35）定义函数 make_prediction，接受一个训练好的模型 model、一个经过预处理的句子 preprocessed_sentence、词汇表的逆映射 id2word 和标签的逆映射 id2tag，此函数允许你输入一个句子并获得模型对其进行的命名实体识别的预测结果。（21）创建函数preprocess_tags，接受一个字典 tags2id（用于将标签映射到整数索引）和一个列表 Y_ready（包含原始标签列表的列表），并返回一个新的预处理后的标签列表 Y_preprocessed。

最终，我们展示了如何使用已训练的模型对新的文本进行推理，实现了对命名实体的自动识别。具体而言，这会返回一个包含数据集中所有唯一句子编号的数组，然后通过 len() 函数得到这个数组的长度，即唯一句子编号的数量。（3）定义用于拼接句子的函数join_a_sentence，功能是根据给定的句子编号从数据集中提取相应的单词列表，并将其连接成一个完整的句子。（10）定义函数num_words_tags，它接受标签列表和数据框作为参数，并返回一个字典，其中键是标签，值是该标签在数据集中的频率。

NER是自然语言处理（NLP）中的一个重要任务，基于深度学习的NER方法已经在该领域取得了显著的成就。

首先，加载英语的统计模型，然后使用 doc.sents 获取文档中的句子，并将句子的文本存储在列表中。在这个例子中，打印出的结果是由段落中的词语组成的列表。通过如下代码返回 OneHotEncoder 中每个特征的唯一值列表，在这个例子中，每个特征是 words 中的一个单词或分类，而列表中的唯一值即为所有不同的单词或分类。最简单的分词方法是字符分词，我们可以使用Python的内置列表类将每个字符转换为整数（数值化），在本项目中，token2idx供了从词汇中的每个字符到唯一整数的映射。

与基于机器学习的方法不同，基于规则的NER不需要大量的标注数据进行训练，而是依赖于手动设计的规则集来识别实体。实现基于规则的NER的一般步骤如下所示。规则设计：制定一系列规则，这些规则可以是基于词性、上下文关系、词典匹配等。规则可以包括诸如"如果一个词以大写字母开头，那么它可能是一个人名"这样的规则。模式匹配：使用规则集对文本进行模式匹配。这可能包括查找特定的词性标记、识别常见的命名实体模式等。实体识别：根据规则的匹配结果，确定文本中的命名实体，并将其分类到相应的类别，如人名、地名、组织名等。

命名实体识别（Named Entity Recognition，NER）是自然语言处理（NLP）中的一项任务，旨在从文本中识别并分类出命名实体。命名实体是文本中具有特定意义的实体，通常包括人名、地名、组织机构名称、日期、时间、百分比、货币等。NER 的目标是识别这些实体并将它们分类到预定义的类别中。在本章的内容中，将详细讲解在自然语言处理中使用命名实体识别（NER）的知识。

如图7-16所示的水平条形图显示了2018年顶部10个和底部10个地点的情感均值，有助于比较不同地点之间的客户情感评价。（38）对不同情感类别的评论数量随时间（年份）的变化趋势进行分析和可视化，这个可视化帮助了解了不同情感类别的评论在不同年份的分布情况，有助于分析客户对产品或服务的情感评价随时间的演变。（31）分析不同地点的评论情感均值，并将其按照均值从高到低排序，然后选择了情感均值最高的前10个地点和情感均值最低的前10个地点，最后绘制了这些地点的情感均值水平的水平条形图。

（26）选择数据框 df 中满足条件 subjectivity > 0.8 的前五行数据，并且仅保留 "Review"、"date"、"Location"、"polarity" 和 "subjectivity" 列的信息。（28）下面的代码执行了时间序列分析，其中数据被分成了2018年和2019年两个子数据框，并计算了每天的情感极性均值，然后绘制了情感随时间的变化图表。（27）生成一个基于主观性非常高的评论的词云图，以可视化这些高度主观的评论中最常见的单词。图7-12 2018年情感随时间的变化图。

在上述代码中，df[['Review','date','Location','polarity','subjectivity']] 选择了 "Review"、"date"、"Location"、"polarity" 和 "subjectivity" 列，然后通过 df.polarity > 0.8 这个条件进行过滤，以选择具有极高积极情感极性的评论。由此可见，影响顾客情绪的最常见的词汇包括：清洁、舒适、友好、乐于助人、极好、位置、员工、房间、设施、游泳池和早餐。这有助于可视化评论的主题和关键词。

跨语言情感分析（Cross-Lingual Sentiment Analysis）是一种自然语言处理（NLP）技术，旨在识别和分析文本中的情感内容，同时能够应用于多种不同语言的文本数据。该技术有助于了解不同文化和语言背景中人们的情感倾向，从而为企业、研究机构和社交媒体分析者提供有关产品、服务、事件或话题的情感反馈。多语言支持：跨语言情感分析的主要特点是其能够处理多种不同语言的文本。这使其适用于国际化市场和社交媒体监测，无论是在全球范围内还是针对多语种社交媒体平台。

（10）定义函数max_length，它接受一个名为tensor的参数，其中tensor通常表示一个包含多个序列的数据结构（例如，一个列表的列表）。函数max_length的主要逻辑是使用列表推导式来遍历tensor中的每个序列（通常是句子或文本序列），并计算每个序列的长度（通常是单词或字符的数量）。编码器的输入是英语句子，输出是GRU的隐藏状态和细胞状态。下一步是定义解码器（Decoder），解码器的任务是接收编码器的隐藏状态和细胞状态，以及输入的句子（通常是目标语言的句子），然后生成输出句子。

端到端翻译：NMT采用端到端的方法，将整个翻译任务作为一个单一的神经网络模型来处理，而不需要复杂的子系统，如短语对齐或翻译规则。上下文感知：NMT模型能够考虑句子中的全局信息和上下文，以更好地理解句子的语境，从而提高翻译质量。参数共享：NMT模型通常使用循环神经网络（RNN）或变换器（Transformer）等体系结构，这些结构使用共享的参数来处理不同位置的输入和输出，从而减少模型的参数数量。训练数据：NMT模型需要大规模的双语平行语料库来进行训练，这些数据包含源语言句子和对应的目标语言句子。

SMT的核心思想是通过统计模型学习源语言和目标语言之间的对应关系，然后使用这些模型来进行翻译。限制上下文理解：SMT主要基于局部短语和句子级别的翻译模型，因此对上下文理解有限，难以处理长文本和复杂的句子结构。固定翻译模型：SMT的翻译模型是基于统计概率的，因此不具备语言理解或推理能力，难以捕捉语言中的含义和多义性。低资源语言困难：SMT在对少见语言或资源稀缺语言进行翻译时面临困难，因为它需要大量的双语数据来进行训练。

机器翻译算法是一种使用计算机程序来将一种语言的文本翻译成另一种语言的技术，各种机器翻译算法的发展使机器翻译取得了巨大的进步，但仍然存在挑战，如处理语言多样性、上下文理解和专业术语等。研究者和工程师不断努力改进机器翻译技术，以使其更准确、流畅和适应各种语言对之间的翻译任务。在本章的内容中，将详细讲解在自然语言处理中使用机器翻译算法的知识。

知识图谱是一种语义网络，用于表示和组织各种实体之间的关系。它以图的形式呈现，其中实体表示为节点，关系表示为边。在下面的内容中，详细讲解了知识图谱的定义和特点。1.定义知识图谱是一个结构化的知识库，用于表示和存储现实世界中的实体和它们之间的关系。知识图谱通过语义关联来描述实体之间的联系，包括层级关系、属性关系和语义关系等。2特点丰富性：知识图谱可以涵盖广泛的领域知识，包括人物、地点、组织、事件等各种实体类型，并记录它们之间的关联。

语法树（Syntax Tree），也称为句法树或分析树，是一种用于表示句子的语法结构的树形结构。它展示了句子中每个单词或短语之间的语法关系，以及句子的结构和层次。在语法树中，每个节点代表一个单词或短语，通常用标签表示其语法角色，如主语、动词、宾语等。句子的根节点通常表示整个句子，而其他节点表示子句或短语。语法树的边（通常是有向边）表示单词或短语之间的语法关系，如修饰、从属、并列等。通过遍历语法树，可以理解句子的语法结构和语法关系。

依存分析（Dependency Parsing）在自然语言处理中比较常用，其主要概念和要点如下所示：依存关系：依存关系表示句子中的词汇之间的句法关系，其中一个词（称为"头"或"中心"）与另一个词（称为"从属"或"依赖"）之间存在一个特定类型的关系。这种关系通常用一个标签来描述，例如"主谓关系"、"定中关系"、"动宾关系"等。依存树：依存树是一种用于表示句子结构的数据结构，其中每个词汇是树中的一个节点，而依存关系则是树中的边。根节点通常是句子中的核心词，而其他词汇通过依存关系与核心词相连。

语义角色标注（Semantic Role Labeling，SRL）的主要概念和组成如下所示：谓词（Predicate）：在SRL中，谓词通常是句子中的动词，表示一个动作、事件或状态。SRL的任务是为每个谓词确定其论元（动作的参与者、承受者等）。论元（Argument）：论元是动作或事件的参与者，可以是名词短语、代词或从句等。SRL的目标是为每个论元分配一个语义标签，以表示其在事件中的角色。语义标签（Semantic Role Labels）：语义标签是用于描述论元在谓词行为中所扮演的角色的标记。

命名实体识别（NER）是自然语言处理（NLP）中的一项任务，旨在从文本中识别和分类具有特定名称的实体，例如人名、地名、组织名、日期、时间、货币、百分比、专有名词等。NER 的目标是将文本中的实体定位并分配给预定义的类别，通常包括以下主要类别：人名（PERSON）：包括人的名字，如"John Smith"。地名（LOCATION）：包括城市、国家、地区等地点的名称，如"New York"。组织名（ORGANIZATION）：包括公司、政府机构、学校等组织的名称，如"Google"。

语义相似度计算是自然语言处理中的重要任务，它用于确定两个文本片段或词汇之间的语义接近程度。这对于许多NLP应用来说非常重要，如信息检索、文本匹配、自动问答、文本摘要和机器翻译等。

语义分析与理解算法是人工智能领域中的一个关键领域，它涉及到计算机理解和解释文本、语音或其他形式的信息的能力。在本章的内容中，将详细讲解在自然语言处理应用中使用语义分析与理解算法的知识，为读者步入本书知识的学习打下基础。

用于显示注意力权重的可视化结果。该函数接受三个参数：input_sentence 是输入句子，output_words 是解码器生成的输出单词序列，attentions 是注意力权重矩阵。该函数会从数据集中随机选择一条输入句子，然后使用训练好的编码器 (encoder1) 和解码器 (attn_decoder1) 对该句子进行翻译。最后，通过调用 plt.show() 函数，显示绘制的图形，展示了注意力权重的可视化结果。使用训练好的编码器和解码器对输入的句子进行解码，并生成对应的输出词语序列和注意力权重。

解码器使用嵌入层将输出序列中的单词索引映射为密集向量表示，并将其作为 GRU 层的输入。编码器的输出可以用作解码器的输入，用于进行序列到序列的任务，例如机器翻译。直接从输入单词的序列中产生正确的翻译将是困难的。与使用单个 RNN 进行序列预测（每个输入对应一个输出）不同，seq2seq 模型使我们摆脱了序列长度和顺序的限制，这使其非常适合两种语言之间的翻译。使用 seq2seq 模型，在编码器中创建单个向量，在理想情况下，该向量将输入序列的“含义”编码为单个向量—在句子的 N 维空间中的单个点。

本节介绍的机器翻译系统和本章前面7.2节中的实例功能完全一样，只不过本项目是使用PyTorch实现的。本项目也是使用基于注意力机制的神经网络训练一个序列到序列 (seq2seq) 模型，功能是将西班牙语翻译为英语。