一些概念的了解记录

1、attention机制

注意力机制（attention mechanism）是一种在机器学习和自然语言处理中常用的技术。它的作用是为模型赋予对输入数据中不同部分的不同重要性权重，从而使模型能够更加关注重要的信息。注意力机制可以用于各种任务，包括机器翻译、文本摘要、图像描述生成等。

在自然语言处理中，注意力机制常用于序列到序列（sequence-to-sequence）模型，如神经机器翻译（neural machine translation）和文本摘要（text summarization）等任务。通过引入注意力机制，模型可以根据输入序列的不同部分的重要性，动态地选择性地对其进行关注和处理，从而提高模型的性能和效果。

注意力机制的基本思想是，通过计算输入序列中每个位置的权重，然后根据这些权重对输入序列进行加权求和，从而生成一个表示输入序列重要信息的向量。这个向量可以用于模型的后续计算和决策过程。

总而言之，注意力机制是一种能够帮助模型集中关注重要信息的技术，可以提高模型的性能和效果。

2、transformer

Transformer是一种用于自然语言处理（NLP）和机器学习任务的模型架构，由Vaswani等人在2017年提出。Transformer引入了一种新的注意力机制（self-attention），以替代传统的循环神经网络（RNN）或卷积神经网络（CNN）的序列建模方法。

传统的序列模型（如RNN）在处理长序列时存在梯度消失或梯度爆炸的问题，并且在并行计算方面效率较低。而Transformer通过引入注意力机制，使得模型可以在不同位置之间直接建立关联，从而更好地捕捉长距离的依赖关系，避免了RNN中的梯度传播问题。

在Transformer中，输入序列首先通过一个编码器（Encoder）进行编码，其中包含多个相同的层。每个编码器层由两个子层组成：多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。自注意力机制允许模型在编码过程中对输入序列中的不同位置进行关注，以获得更好的表示。前馈神经网络则对每个位置的表示进行非线性变换。

编码器处理输入序列后，得到一个高维的上下文感知表示。然后，这个表示通过解码器（Decoder）进行解码，解码器也由多个相同的层组成。解码器在每个位置都通过自注意力机制和编码器-解码器注意力机制（Encoder-Decoder Attention）来生成下一个位置的输出。

Transformer的优势在于它能够处理更长的序列，并且具有更好的并行计算能力。它在机器翻译、文本生成、问答系统等NLP任务中取得了很大的成功，并成为了当前主流的模型架构之一。

总而言之，Transformer是一种用于NLP和机器学习任务的模型架构，通过引入注意力机制来处理序列数据，并取得了很好的效果。它在解决长距离依赖、梯度传播等问题方面具有优势，成为了当前NLP领域的重要模型

除了注意力机制，Transformer还有以下几个特点：

1. 并行计算能力：传统的序列模型（如RNN）需要按顺序进行计算，导致难以进行有效的并行计算。而Transformer模型中的注意力机制允许模型在每个位置之间直接建立关联，使得计算可以并行进行，从而提高了计算效率。

2. 残差连接（Residual Connections）和层归一化（Layer Normalization）：为了避免深层网络中的梯度消失或梯度爆炸问题，Transformer模型中引入了残差连接和层归一化技术。残差连接将输入直接与输出相加，使得信息能够更好地流经网络。层归一化则对每个层的输出进行归一化，有助于提高模型的收敛速度和泛化能力。

3. 位置编码（Positional Encoding）：由于Transformer没有使用RNN或CNN等显式的位置信息，为了使模型能够区分不同位置的单词，Transformer引入了位置编码。位置编码是通过将位置信息编码成一个固定长度的向量，与输入向量相加，从而为模型提供位置信息。

4. 多头注意力机制（Multi-Head Attention）：为了增强模型对不同关注点和不同相关性的建模能力，Transformer模型中使用了多头注意力机制。通过将注意力机制应用于不同的投影空间，并将多个注意力头的输出进行拼接，使得模型可以同时关注不同的相关性。

5. 基于自注意力的序列生成：传统的序列模型（如RNN）一般是从左到右生成序列的，而Transformer模型可以通过基于自注意力的机制，同时对整个输出序列进行生成。这种全局性的生成方式可以提高模型对上下文的理解和生成的一致性。

这些特点使得Transformer模型在自然语言处理和其他序列建模任务中取得了很大的成功，并成为当前主流的模型之一。它具有较好的建模能力、并行计算能力和泛化能力，以及更好地处理长距离依赖关系和全局生成的能力。

3、text to text

Text-to-Text（T2T）是一种通用的框架和方法，用于处理各种自然语言处理（NLP）任务。T2T的目标是将不同的NLP任务转化为文本到文本的问题，通过统一的框架进行处理和解决。

传统的NLP任务通常需要设计和实现不同的模型和算法来解决特定的任务，例如机器翻译、文本分类、文本生成等。这样的方法效率低下，难以复用和扩展。而T2T的思想是将不同的NLP任务都转化为输入一个文本，输出对应的目标文本的问题，从而统一了各种任务的处理方式。

T2T的核心是使用神经网络模型，如Transformer等，对输入文本进行编码和解码，以生成目标文本。通过在模型的训练过程中，使用大量的输入-目标文本对进行监督学习，使得模型能够学习到输入文本和目标文本之间的映射关系。

使用T2T可以方便地处理多种NLP任务，如机器翻译、文本摘要、问答系统、对话生成、命名实体识别等。通过共享网络结构和参数，可以减少训练时间和资源消耗，并且可以更好地利用不同任务之间的相似性和共享知识。

总而言之，Text-to-Text（T2T）是一种通用的框架和方法，通过将不同的NLP任务转化为文本到文本的问题，以统一的方式进行处理和解决。它提供了一种高效、灵活和可扩展的方式来处理各种NLP任务。

4、知识蒸馏

知识蒸馏（Knowledge distillation）是一种通过将复杂模型的知识传递给简单模型来提高模型性能的技术。它的基本原理是将一个复杂的模型（通常被称为“教师模型”）的知识转移到一个简单的模型（通常被称为“学生模型”）上，以减少学生模型的复杂度并提高其泛化性能。

在知识蒸馏中，通常使用教师模型的软标签（即概率分布）来训练学生模型。这些软标签比硬标签（即单独的类别）提供更丰富的信息，可以帮助学生模型更好地学习。此外，还可以使用教师模型的中间表示（即隐藏层的输出）作为额外的辅助信息来训练学生模型。

知识蒸馏可以帮助简化模型结构，减少模型的计算和存储需求，同时提高模型的泛化性能和学习速度。它在许多领域中都有广泛的应用，包括自然语言处理、计算机视觉和语音识别等。

5、人工交互反馈强化学习

人工交互反馈强化学习（Interactive Feedback Reinforcement Learning）是一种强化学习的方法，其中智能体通过与环境的交互和人类专家的交互来学习。

在传统的强化学习中，智能体通过与环境的交互来学习最优策略，通常使用奖励信号来指导学习过程。然而，在某些任务中，奖励信号可能很稀疏或不准确，这会导致学习过程变得困难。为了解决这个问题，人工交互反馈强化学习引入了人类专家的交互。

在人工交互反馈强化学习中，智能体与环境进行交互，并通过观察环境状态和采取行动来学习。同时，智能体还会与人类专家进行交互，专家会提供反馈、指导和纠正智能体的行为。这种人类专家的反馈可以是明确的指令、演示样本、优化目标等形式。

通过与人类专家的交互，智能体可以更快地学习到正确的行为策略，避免尝试和错误的过程，并且可以充分利用专家的知识和经验。这种交互式学习过程可以提高学习的效率和稳定性，并且可以应用于需要高度准确性和安全性的任务中，如机器人控制、自动驾驶等。

总之，人工交互反馈强化学习是一种通过与环境和人类专家的交互来学习最优策略的方法，以提高学习效率和性能。

6、OpenAI

OpenAI主要有两个研究方向，第一个方向是生成能力更强的基座模型，主要目标是记住海量的文本信息；第二个方向是反馈研究，使得AI系统的输出与用户期望/意图一致。OpenAI主要技术方案是大规模预训练模型 + 人工交互反馈 + 强化学习。

• (1)2018年GPT-1出世，模型参数只有0.1B；

• (2)2019年GPT-2出世，模型参数量增加到了1.5B。在续写、摘要任务上探索引入人类反馈的价值和方法，RLHF范式得到验证。但这里有两点需要注意，第一当前反馈信息都是由标注人员介入，非应用阶段交互反馈；第二OpenAI已经是强化学习的老玩家了；

• (3)2020年GPT-3出世，花费1200W美元，模型参数量增加到了175B。SumGPT模型主要专注摘要任务，使用了RLHF技术；

• (4)2021年GPT-3.5出世，模型参数有1.3B/6B/175B三个版本。WebGPT主要专注开放域问答任务，Codex主要专注文本转化成代码任务；

• (5)2022年InstructGPT模型出世，底层使用的模型就是GPT-3.5，收集用户经常问的问题训练泛类型任务。随后ChatGPT横空出世，据官网说参考的就是InstructGPT，但是使用了更多的用户问答数据。

RLHF：

RLHF 是强化学习（Reinforcement Learning）中的一种技术，它是强化学习与层次化学习（Hierarchical Learning）相结合的方法，其中 RL 代表强化学习，HF 代表层次化学习。

在传统的强化学习中，智能体通过与环境的交互来学习最优策略。然而，当任务复杂或状态空间较大时，传统的强化学习方法可能会面临挑战。这时，层次化学习可以帮助解决这个问题。

层次化学习是一种将任务划分为多个子任务的方法，每个子任务可以由一个独立的策略来解决。这样可以降低学习的复杂度，并且可以利用子任务之间的结构和关联性。

RLHF 就是将强化学习和层次化学习相结合的一种方法。在 RLHF 中，智能体不仅学习如何在每个子任务中采取最优策略，还学习如何在不同子任务之间进行切换和协调。

RLHF 的基本思想是，智能体首先学习如何执行一个高层策略（meta-policy），这个高层策略决定了在不同子任务之间的切换和调度。然后，智能体在每个子任务中学习一个低层策略（sub-policy），用于解决具体的子任务。

通过层次化学习的 RLHF 方法，智能体可以更高效地学习复杂任务，充分利用任务结构和子任务之间的关联性。它在许多领域中都有广泛的应用，如机器人控制、游戏策略、自动驾驶等。

参考：广告行业中那些趣事系列70：狂飙的ChatGPT：从技术原理到应用案例

In-Context Learning：

In-Context Learning（环境内学习）是一种机器学习的方法，它强调在真实环境中进行学习和决策-making。与传统的离线学习方法相比，In-Context Learning更注重在实际应用场景中进行学习，以更好地适应和应对环境的变化。

在传统的离线学习中，模型通常在离线数据集上进行训练，并在实际应用中进行推理和决策。然而，这种方法无法充分考虑到真实环境中的动态变化、不确定性和交互反馈。相比之下，In-Context Learning通过在实际环境中进行学习和决策，可以更好地适应和应对环境的变化。

In-Context Learning的关键是通过与环境的交互来进行学习。智能体在真实环境中观察环境的状态，并根据环境的反馈调整自己的行为。这种交互式学习过程使得智能体能够实时感知环境的变化，并根据环境的反馈进行调整和改进。

In-Context Learning在许多领域中都有广泛的应用，如机器人控制、智能交通系统、智能推荐系统等。它可以提高系统的适应性、鲁棒性和性能，并且可以在不确定和动态的环境中进行有效的决策-making。

CoT的“涌现”能力：

通过一系列中间自然语言推理步骤来完成最终输出，用类似于人的推理方式的思维链来提示语言模型，可以极大的提高模型在推理任务上的表现，打破微调的平坦曲线，好的思维链可能来自代码训练集。

思维链的规模临界点，当模型超过62B时会使思维链的效果开始提升并大于标注的提示词方法。当模型接近或超过175B时思维链的效果会超过精调小模型的效果。

模型的思维推理能力与模型参数大小有正相关趋势。训练集中加入编程语言可以提升模型逻辑推理能力。提示推理过程，并提供调试推理路径错误位置的机会。思维链可以用于数学单词问题、符号操作和常识推理等任务。思维链允许模型将多步问题分解为中间步骤，意味着可以将额外的计算分类给需要更多推理步骤的问题。

LaMDA、GPT和PaLM：

自然语言处理领域中的三个模型，它们都是基于深度学习的语言模型，但在具体任务和方法上有所不同。

1. LaMDA（Language Model for Dialogue Applications）是由谷歌提出的一种用于对话应用的语言模型。LaMDA的目标是能够理解和生成更自然、连贯的对话，并具备更好的语义理解能力。LaMDA的设计理念是将对话作为一个整体进行建模，以更好地处理上下文和多轮对话的语义。

2. GPT（Generative Pre-trained Transformer）是由OpenAI提出的一系列语言模型，其中最为知名的是GPT-3。GPT-3是一个基于Transformer架构的深度神经网络模型，通过在大规模文本数据上进行预训练，可以生成高质量的自然语言文本。GPT-3在自然语言生成、文本摘要、机器翻译等任务上取得了很好的效果。

OpenAI使用RLHF(Reinforcement Learning from Human Feedback，人类反馈强化学习)技术对ChatGPT进行了训练，且加入了更多人工监督进行微调。ChatGPT具有如下特点：

(1)可以主动承认自身错误。如果用户指出其错误，模型会听取意见并优化答案；

(2)可以质疑不正确的问题；

(3)可以承认自身的无知，承认对专业技术的不了解；

(4)支持连续多轮对话和上下文理解。

1. PaLM（Pre-training and Language Model）是由Facebook提出的一种预训练语言模型。PaLM的目标是通过预训练和微调两个阶段的训练来提高模型的语言理解和生成能力。预训练阶段使用大规模的无监督数据进行训练，而微调阶段则使用有监督数据进行任务特定的训练。

总结起来，LaMDA、GPT和PaLM都是基于深度学习的语言模型，但它们在设计思想、任务和机构上有所不同。它们都在自然语言处理领域有重要的应用，并取得了一定的成就。

7、Clue And Reasoning prompting

Clue and Reasoning Prompting (CARP) 是一种用于文本分类的方法，它首先提示大型语言模型（LLMs）寻找表面线索，例如关键词、语调、语义关系、引用等，然后基于这些线索引导出一个诊断推理过程进行最终决策。

参考：https://cloud.tencent.com/developer/article/2312015

广告行业中那些趣事系列63：使用chatgpt类大模型进行文本分类任务