自然语言处理，基于预训练语言模型的方法，车万翔，引言部分

自然语言处理应用任务

1. 信息抽取

信息抽取（Information Extraction, IE），是从非结构化的文本中，抽取出结构化信息的过程，通常包含以下这些子任务

下面举一个例子，来说明这些子任务分别是干什么的，以及它们之间的差别是什么。

不同信息抽取子任务，抽取的结果如下方表格所示：

信息抽取子任务	抽取结果
命名实体识别	公司名：AMD 公司名：赛灵思
关系抽取	赛灵思 $\stackrel{\text{从属于}}{\Rightarrow }$ AMD
时间表达式抽取	10月28日
时间表达式归一化	10月28日$\to$ 2020年10月28日
事件抽取	事件：收购 时间：2020年10月28日 收购者：AMD 被收购者：赛灵思 被收购金额：350亿美元

• 命名实体识别可以实现从文本中抽取出子串“AMD”和“赛灵思”，并标注出它们的类型均为“公司名”。
• 关系抽取在命名实体识别的基础上，进一步挖掘不同实体之间的关系，在本文中可以挖掘出AMD和赛灵思的关系为母公司和子公司的关系。
• 时间表达式抽取，可以抽取出原文中的日期和时间，本文中就是10月28日。
• 时间表达式归一化是为了使时间表达式抽取的结果更加规范化，“10月28日”毕竟是个比较模糊的日期，应该能够进一步识别出它是“2020年的10月28日”这种特定的日期。
• 事件抽取以一种结构化的方式，抽取出整个收购事件的来龙去脉，类似于对多种实体抽取任务进行一种组合。这里可以抽取出与收购事件相关的所有信息，如时间，收购者，被收购者，被收购金额等。

2. 情感分析

情感（Sentiment）是人类重要的心理认知能力，使用计算机自动感知和处理人类情感已经成为人工智能领域重要的研究内容之一。自然语言处理中的情感分析主要研究人类通过文字表达的情感，因此也称为文本情感分析。但是，情感又是一个相对比较笼统的概念，既包括个体对外界事物的态度、观点或倾向性，如正面、负面等；又可以指人自身的情绪（Emotion），如喜、怒、哀和惧等。随着互联网的迅速发展，产生了各种各样的用户生成内容（User Generated Content，UGC），其中很多内容包含着人们的喜怒哀惧等情感，对这些情感的准确分析有助于了解人们对某款产品的喜好，随时掌握舆情的发展。
因此，情感分析成为目前自然语言处理技术的主要应用之一。


情感分类主要注重识别文本中的情感类型或者情感强度，而情感信息抽取主要注重识别文本中的评价词，评价对象，以及二者之间的搭配。

3. 问答系统

问答系统的主要分类以及简要介绍

4. 机器翻译

随着全球化和互联网的普及，不同语言之间的交流变得日益重要。目前全球约有7,000种语言，其中超过300种拥有超过100万使用者。语言障碍成为国际交流的一个挑战。机器翻译，作为克服这一难题的有效技术手段，旨在实现不同语言间的自动翻译，促进无障碍交流。自然语言处理领域的发展推动了机器翻译技术的进步。近年来，谷歌、百度等公司推出了在线机器翻译服务，而科大讯飞等公司则推出了能将语音从一种语言翻译成另一种语言的翻译机，这些进展为不同语言使用者之间的交流提供了便利。

机器翻译自诞生以来，主要围绕理性主义和经验主义两种方法进行研究。“理性主义”是基于规则的方法，“经验主义”是数据驱动的统计方法。近年来兴起的基于深度学习的机器翻译方法利用深度神经网络学习源语言句子到目标语言句子的隐式翻译规则，即所有的翻译规则都被编码在神经网络的模型参数中。该方法又被称为神经机器翻译（Neural MachineTranslation，NMT）。

5. 对话系统

开放域对话系统类似于一个娱乐型聊天机器人，而非是某个领域的专家。为了取悦用户，机器人应该能够与用户源源不断地对话，提供的回答应该多种多样，最好类似于一个专业的人类陪聊，提高用户的满意度。

任务型对话系统往往是为了服务于用户，完成用户要求的某项特定任务而存在的。
例如我们使用Siri进行订票。我们会说“Siri，订一张明天去北京的机票”。
Siri会首先解析并理解用户的请求，分析用户的语义，获得用户的领域为机票，意图为订机票，并将关键信息存入槽值构成的列表。
之后，Siri在和用户的不断对话中，会不断跟踪当前用户语义和状态，例如用户想将机票从北京改到上海，Siri会在槽值中，将到达地所在槽对应的值修改为上海。此外，Siri会根据当前用户语义和状态，利用语义计算进行决策，决定下一步应该做什么，即给出什么回答。
最后，Siri会选择一个适当的模板来生成问题，比如使用模板“请问您从哪里出发？”然后把这个问题直接问用户。这种方法比较简单，因为模板是固定的，只需要在适当的时候选择合适的模板就可以了。生成的文本之后会传递给文本到语音（TTS）模块。TTS模块的作用是把文本转换成语音，这样用户就可以听到计算机发出的声音，而不仅仅是看到屏幕上的文字。这样一来，对话系统就能通过语音与用户进行互动了。
简而言之，NLG负责创建文本消息，TTS负责将这些文本消息转换为用户可以听到的语音消息。
由于用户与Siri的对话是多轮对话，会一直持续下去直至满足用户需求，以上三个流程会循环往复，直至满足用户需要。