大模型学习笔记（1）

理论基础——开发——应用实战——生态

大模型技术栈

Foundation Model Layer → LLM Middleware → AIGC Software
GPT4 / LLaMA / Bard / ChatGLM / Pangu → LangChain / Chroma / Pinecone / Redis / Prisma → Chatgpt / New Bing / Github Copilot / Notion AI / Mid Journey

LangChain

LangChain 是一个开源框架，专门为构建使用大型语言模型 (LLM) 的应用而设计。它帮助开发者将语言模型的功能集成到复杂的应用中，比如问答系统、聊天机器人、自动化文档生成等。LangChain 的目标是通过提供简洁且模块化的组件，使开发者能够专注于应用的高层逻辑，而不是底层实现。以下是 LangChain 的一些核心功能：

1. Prompt 模板：LangChain 提供灵活的 prompt 模板功能，Prompt 模板是预定义的文本结构，里面包含一些占位符，用来在需要时填入具体的信息。LangChain 的 prompt 模板功能允许开发者在这些占位符里动态插入变量，让每次生成的文本都能自动适应当前的场景。例如，假设你想要让模型生成一个客户支持回复，并且需要根据客户的名字和具体问题来定制回答。你可以设置一个 prompt 模板如下：
   
   在实际使用中，LangChain 会根据不同的输入动态地将 customer_name 和 customer_issue 替换成客户的名字和问题，从而自动生成个性化的回复。

2. 链（Chains）：链是 LangChain 的核心概念之一，允许开发者将多个 LLM 调用、API 请求、计算等步骤串联在一起。通过定义链的顺序和逻辑，开发者可以实现复杂的工作流程，比如从文本分析、数据提取到自动报告生成等任务。

3. 记忆（Memory）：在对话式应用中，记忆功能可以帮助模型“记住”之前的对话内容，从而支持上下文一致的互动。LangChain 提供多种记忆模块，以满足不同的对话需求，如短期记忆、长期记忆等。

4. 文档问答：LangChain 提供了针对文档的问答解决方案，可以将长文本分段并对每个部分进行检索和分析，尤其适合长文档的问答和知识管理。

5. 代理（Agents）：LangChain 中的代理是一种智能组件，允许模型在处理用户请求时，不只是生成回答，还能主动选择最适合的工具或数据源来完成任务。可以把代理想象成一个“决策者”，它会根据不同的请求内容，自动决定下一步应该做什么。

比如，你有一个应用，用户可以问一些数据相关的问题，比如“这个月的销售额是多少？”或“天气怎么样？”。代理会判断哪个问题需要数据库里的数据，哪个问题要查外部的天气 API，然后去调用相应的工具或接口，从而提供答案。代理的关键在于它能动态地选择最佳路径，而不是固定地处理所有请求。

简单来说，代理就像一个指挥者，可以判断并选择使用的工具或信息源，以便更好地满足用户的特定需求。

6. 工具和 API 整合：LangChain 支持集成多种第三方工具和 API，如搜索引擎、计算器、外部数据库等，这样模型可以利用外部资源来提供更加丰富和准确的答案。

LangChain 适用于需要语言模型具备多步骤逻辑处理能力的复杂应用，广泛用于构建智能问答系统、知识管理系统、内容生成、自动数据分析等任务。

AI 起源与发展

Artificial Intelligence ------ Machine Learning ------ Deep Learning ------ Large Language Model

连接主义与符号主义

连接主义学派和符号主义学派是人工智能和认知科学中的两大主要理论流派，它们在解释人类认知和智能的方式上有着根本区别。

符号主义学派认为智能和思维是通过符号操作实现的。这个学派主张，思维过程就像计算机的操作一样，可以通过一系列规则对符号（例如语言和逻辑符号）进行操作。符号主义学派通过构建“规则和符号”系统来实现智能，其典型的例子是专家系统和早期的逻辑推理系统。这种方法在处理结构化数据和逻辑推理时效果较好。

简单来说，符号主义学派认为我们可以通过设计明确的规则和逻辑来模拟智能。

连接主义学派则基于神经网络的概念，认为智能是通过大量简单单元（类似神经元）之间的连接来产生的。连接主义学派主张，通过模拟生物神经网络的工作方式，可以实现复杂的认知功能。人工神经网络（如深度学习）就是连接主义的代表，通过训练大量数据，网络可以学习到输入和输出之间的复杂模式和关系。

简而言之，连接主义学派认为智能是通过大规模、分布式的神经元连接产生的，不依赖于明确的逻辑规则。

注意力机制

注意力机制（Attention Mechanism）是深度学习中一种模仿人类注意力模式的技术，用于提高模型的处理效率和准确性。最早在自然语言处理（NLP）领域广泛应用，尤其是在机器翻译、文本生成等任务中