山东大学软件学院创新实训VCR系统个人博客

 本博客为山东大学软件学院2024创新实训，25组可视化课程知识问答系统（VCR）的个人博客，记载个人任务进展。

第一周-第二周：研究通用GPT模型，选用大语言模型进行数据爬取，数据清洗等工作

一：通用GPT 模型

1.GPT 模型通用的实现原理：

GPT（Generative Pre-trained Transformer）模型，如GPT-3、GPT-4等，是基于Transformer架构的大型自然语言处理模型。这些模型通过预训练来学习大量的文本数据，从而能够生成流畅自然的文本，并尝试回答各种语言处理任务。以下是GPT模型通用的实现原理：

1. Transformer架构：
   GPT模型基于Transformer架构，这是一种基于自注意力机制的神经网络结构。Transformer由多个相同的层堆叠而成，每一层都包含自注意力机制和前馈神经网络。这种架构使得模型能够同时关注文本中的多个位置，从而更好地理解上下文。

2. 预训练：
   GPT模型在大量无标签的文本数据上进行预训练。预训练的目标是预测文本序列中的下一个词。给定一个文本序列，模型被训练去预测序列中的下一个词。这种训练方式使得模型能够学习到语言的统计规律和模式。

3. 生成式任务：
   GPT模型是生成式的，这意味着它们可以生成新的文本。在生成文本时，模型会根据之前的文本预测下一个词，并将预测的词作为新的上下文继续预测下一个词，如此循环，直到生成完整的文本。

4. 微调（Fine-tuning）：
   虽然GPT模型在预训练阶段学习到了大量的语言知识，但它们还可以通过微调来适应特定的任务。在微调阶段，模型会在有标签的数据集上进行训练，以学习特定任务的规律。例如，对于文本分类任务，可以在模型的输出层添加一个分类器，并使用有标签的数据进行训练。

5. 大规模参数：
   GPT模型通常具有大量的参数（例如，GPT-3有1750亿个参数），这使得它们能够捕捉到文本中的复杂模式和关系。大量的参数也意味着模型需要大量的计算资源和数据进行训练。

6. 零样本学习（Zero-Shot Learning）和少样本学习（Few-Shot Learning）：
   由于GPT模型在大量文本数据上进行了预训练，它们展现出了一定的零样本学习能力，即能够在没有见过类似示例的情况下处理新任务。此外，通过提供少量示例（少样本学习），模型可以更好地适应新任务。

总的来说，GPT模型的实现原理主要基于Transformer架构、大规模预训练、生成式任务、微调以及大量的参数。这些特点使得GPT模型在自然语言处理领域取得了显著的成果。

2.GPT模型在自然语言处理领域有哪些应用

GPT模型在自然语言处理领域有着广泛的应用，这些应用体现了其强大的语言理解和生成能力。以下是GPT模型在自然语言处理领域的具体应用：

1. 文本生成：
   • GPT模型最初的设计目的之一就是用于文本生成任务。它可以生成高质量的文本，包括文章、新闻、小说等。例如，GPT-3能够根据给定的提示文本来生成连贯的、富有创意的文章、对话等。
   • 在实际应用中，文本生成可以应用于自动写作、机器翻译、对话系统等领域。GPT模型可以自动化生成高质量的自然语言文本，极大地提高了文本创作的效率。
2. 情感分析：
   • GPT模型可以分析文本中的情感色彩，包括正面、负面和中性情感。这在社交媒体监测和消费者反馈分析中非常有用，可以帮助企业了解用户对产品或服务的情感倾向。
3. 问答系统：
   • 通过将问题提供给GPT模型，可以构建问答系统。GPT会尝试生成有关问题的答案。这种技术在虚拟助手、知识库搜索和在线客服等领域有着广泛的应用。GPT模型能够理解问题并生成相应的答案，为用户提供快速准确的信息服务。
4. 自动翻译：
   • GPT模型可以用于自动翻译文本，将一种语言翻译成另一种语言。这对于多语言支持和跨文化交流非常有用。GPT模型的翻译质量不断提高，已经能够达到甚至超过一些传统的机器翻译系统。
5. 代码生成：
   • GPT模型可以生成计算机程序代码，帮助程序员自动生成部分代码段。这有助于提高开发效率，减少编程人员的工作量。
6. 文本分类：
   • GPT模型可以用于文本分类任务，例如情感分析、主题分类等。通过预训练模型，GPT可以自动提取文本特征，从而实现高效的文本分类。
7. 文本摘要：
   • GPT模型可以用于文本摘要任务，通过输入一篇文章，GPT可以自动生成文章的摘要。这种技术可以应用于新闻摘要、文献摘要等领域，帮助用户快速了解文章的主要内容。
8. 语音识别：
   • GPT模型还可以用于语音识别任务，通过输入语音信号，GPT可以自动转换成文本。这种技术可以应用于语音助手、语音识别等领域，为用户提供更加便捷的语音交互体验。
9. 多模态处理：
   • 在GPT-4等更高级的版本中，模型还具备多模态处理能力，能够接收图像等输入并生成相应的文本输出。这为跨模态任务如图像描述生成等提供了可能性。

GPT模型在自然语言处理领域的广泛应用展示了其强大的语言理解和生成能力。随着技术的不断进步，GPT模型将继续推动自然语言处理技术的发展，并为人们提供更加智能、高效的语言处理服务。

最终决定选用ChatGLM3与Qwen-72B两个大语言模型。