大模型现有领域研究

分类参考https://csdnnews.blog.csdn.net/article/details/137337597?spm=1000.2115.3001.5926&ydreferer=aHR0cHM6Ly93d3cuY3Nkbi5uZXQv

对现有领域热点进行总结，后续会基于这些进行补充，会对其中的名词进行解释。

开始编辑日期2024/4//4，最后编辑时间2024/4/4

---

1. 大语言模型技术演进

LLM: Large Language Model大语言模型

AGI: Artificial General Intelligence人工通用智能

2. 多模态大模型

多模态：多模态即多种异构模态数据协同推理。多模态数据分析外需与高级认知智能内需相互促进。在人工智能领域中，往往指感知信息，如图像、文本、语音等协同，帮人工智能更准确地理解外部世界。 可用方法包含：双路卷积神经网络等。

3 大模型工程与架构

分布式：基于多节点/机器的，之间通过网络互联，可以是高性能网络、也可以是Internet网络。

4 大模型应用开发实践

大模型RAG：Retrieval-Augmented Generation检索增强生成

具体来说，RAG通过以下方式工作：

• 它首先利用检索模块从大规模知识库中检索与当前任务相关的信息。

• 然后，这些检索到的信息与大型语言模型结合，以生成符合上下文的准确回答。这种结合不仅提高了答案的准确性，还增强了其相关性。

RAG的应用范围广泛，包括问答系统、文本摘要、对话系统等多个领域。它的主要技术优势在于能够提供准确且符合上下文的答案，同时减少模型幻觉，提升对实时性要求较高问题的处理能力。这与传统仅依赖LLM生成内容的方法相比，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。

5 GenAI

GenAI（生成式人工智能）是一种基于深度学习和自然语言处理技术的人工智能系统，能够生成类似人类的文本、图像、音频等内容。

GenAI利用大规模神经网络模型，根据训练数据对文本、图像、视频、音频等进行自动生成。其代表应用包括对话系统如ChatGPT）、图像生成模型（如DALL-E），以及其他模态的生成模型。GenAI不仅能分析现有数据，还能生成新数据，甚至探索未知领域。

6 代码大模型

论文综述：A Survey on Language Models for Code

https://arxiv.org/pdf/2311.07989v1.pdf

7 大模型应用框架

例如：TensorRT-LLM

8 AI 智能代理 (AI Agent)

LLM-based Agent: 例如定制化的LLM

复旦团队调研：https://github.com/WooooDyy/LLM-Agent-Paper-List?tab=readme-ov-file

9 AI Infra 大模型基础设施

AI Infra，即人工智能基础设施,是连接算力和应用的AI中间层基础设施。它涵盖了数据准备、模型训练、模型部署和应用整合等环节,其中的基础软件工具有较高商业化潜力。AI Infra包括处理器、操作系统、存储系统、网络基础设施、云计算平台等底层技术设施。

10 ML/LLM Ops 大模型运维

MLOps是一种将软件工程的原则和实践应用于机器学习(ML)系统的实践，旨在自动化和管理机器学习模型的生命周期。

MLOps涵盖数据处理、模型训练、模型部署、模型监控和模型更新等阶段。MLOps的核心目标是提高机器学习系统的可靠性、可重复性、可扩展性和安全性，以更好地满足业务需求。MLOps不仅仅是一组工具或技术，而是一种整合数据科学家、工程师和运营人员之间合作的实践方法，旨在实现高效、协作的机器学习开发和部署流程。