云上笛暮

本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能，最后给出Agent在安全领域应用的三点启示。

本文以Google colab 环境，基于ollama+gemma2实现钓鱼邮件的分析，代码实现逻辑主要分为以下八步。

基于大模型的应用存在较多的安全风险，比如提示词注入、敏感信息泄露等，LLM安全问题可以通过LLM安全库（如Prompt Armor, Lakera）提供的强大运行时安全措施以及监控工具（如Langfuse）对这些措施效果的异步评估来解决。本文例举了禁止主题、去匿名化个人信息、多扫描器堆叠、输出扫描、提示词注入五个典型的应对办法，并就提示词注入进行了详细代码举例。

LLM安全风险主要从四个维度分析：用户输入、训练数据、模型本身以及工具和插件。

人工智能安全治理框架。

从 AI agent 体验到 对两个典型的智能体进行代码理解。

本文搭建“LLM专家客服”的主要步骤分为四步：step1：注册相关工作。step2：RAG知识库建立。step3：编排与调试。step4：应用发布。

【前言】2022年的12月，对所IT从业者来说，应该都是记忆深刻的。那时chatgpt横空出世，席卷全球，大家都在寻求一个账号进行体验，随后这股趋势就一发不可收，百模型大战、千模大战相继而来。但在被各类AIGC应用惊艳后，我们自然想进一步探索其背后实现的原理，AI虽然门槛高，笔者自学过程中也’三起两落“过，幸运的是2022年底转机出现了，一方面确实感受到了生成式AI的强大，另一方面公司也刚好大力投入这块业务，理论结合实践，实践反哺理论，这一次确实扎进去了。

如果你能做一些了不起的事情，但你不能真正控制它，那么它就不是那么神奇了。如果方向盘摇晃，一辆时速可以行驶 300 英里的汽车有什么用呢？

在深度学习中，模型通常对所有输入重复使用相同的参数。专家混合 (MoE) 模型违背了这一点，而是为每个传入的示例选择不同的参数。结果是一个稀疏激活的模型——参数数量惊人——但计算成本恒定。- 来自 [5]经过二十多年对 MoE 的研究，我们应该对这个想法、它的有效性以及如何应用它来训练更好的语言模型有一个很好的了解。关于这个主题的研究已经经历了几个阶段，但所有这些工作的关键要点可以总结如下。核心理念。MoE 背后的基本思想是将模型的参数计数与其使用的计算量分离。

​本文主要基于Lora技术，在Google colab上用A100对Gemma 2B大模型进行了指令微调，第一次指令微调是采用databricks-dolly-15k 作为数据集，取得了不错的微调效果，能准确用英文回答问题，但是databricks-dolly-15k 毕竟是英文数据集，微调后的模型对中文的理解并不好，为使模型对中文有更好的理解，笔者采用COIG-CQIA数据集进行了指令微调，微调后模型对中文回答的效果非常明显。

所以此阶段我开展 更大范围的落地推进活动，处于对已测试客户效果的真切感受和对大模型的进一步理解，我的自信开始展示在每一次的客户交流和市场演讲当中，这阶段我已经开始很直接的告诉客户在哪些环节中，可以用新技术解决老问题和带来新价值，所以，与客户探讨可落地的产品解决方案成为第一优先级。----------------------------------------------全文完-----------------------------------------------------------

另一种方法是保留最上面的两个单词（例如“I”和“a”），然后在下一步中运行模型两次：一次假设第一个输出位置是单词“I”，另一次假设第一个输出位置是单词“a”，并且考虑到位置#1和#2，保留产生较少错误的版本。由于我们没有可以记住序列如何输入模型的循环网络，因此我们需要以某种方式为序列中的每个单词/部分提供一个相对位置，因为序列取决于其元素的顺序。当我们在编码器#5（堆栈中的顶部编码器）中对单词“it”进行编码时，注意力机制的一部分集中在“The Animal”上，并将其表示的一部分烘焙到“it”的编码中。

所以所有的输出都是独立的。RNN 可以采用一个或多个输入向量并产生一个或多个输出向量，并且输出不仅受到像常规神经网络一样应用于输入的权重的影响，而且还受到表示基于先验的上下文的“隐藏”状态向量的影响输入/输出。常规 RNN 的工作方式是，隐藏状态激活受到最接近它们的其他局部激活的影响，这对应于“短期记忆”，而网络权重则受到整个长期计算的影响。RNN 被称为循环网络，因为它们对序列中的每个元素执行相同的任务，输出取决于之前的计算，并且您已经知道它们有一个“记忆”，可以捕获有关到目前为止已计算内容的信息。

来检测整个图像中存在的特征，例如边缘。由于我们通常使用小内核，因此对于任何给定的卷积，我们可能只会丢失一些像素，但是当我们应用许多连续的卷积层时，这可能会增加。但是，当相同的滤波器/内核传递到具有相当不同的边缘集的图像部分时，卷积的输出很小，这意味着不存在任何加号和元素级乘积，并且总和将导致零或非常小的值。由于图像的该部分包含与滤波器正在寻找的相同的加号，因此卷积运算的结果是一个很大的数字。执行图像增强，而不是用大量图像来训练模型，我们可以用更少的图像来训练我们的模型，并用不同的角度训练模型并修改图像。

ReLU本质上是非线性的，ReLu的组合也是非线性的。需要注意的一件事是，由于 SGD 通常比典型的梯度下降噪声更大，因此由于其下降的随机性，通常需要更多的迭代次数才能达到最小值。在这种情况下，房地产市场上的普遍现象是，距离城市越远，越大的房子就越便宜。如果没有激活函数，我们的模型就无法学习和建模复杂的数据，例如图像、视频、音频、语音等。我们的目标是最小化成本函数。这个函数的问题是创建一个二元分类器（1或0），但是如果你想要连接多个这样的神经元以引入更多的类，Class1、Class2、Class3等。

思考：上面人脸识别的三个步骤，可以简单理解为先通过少量特征点找到人脸，然后通过算法提取每个人脸的特征，并用一组特征向量表示，且每个特征向量后面增加一个该人的姓名。比如【A1,A2,A3,A4,A5,小明】，如果有m个测试集，就会有一个行的矩阵，就类似构建了数据库，接下来就是使用该数据库。如何使用？把人脸输入，通过特征提取算法提取该人脸的特征向量，然后通过计算与之前构建数据库（就是那个m行的大矩阵）的欧式距离或者余弦相似度，从而找到输入的人脸是谁。

在人工智能中，智能代理AI Agent是以智能方式行事的代理；它感知环境，自主采取行动以实现目标，并可以通过学习或获取知识来提高其性能。智能代理可以是简单的，也可以是复杂的：恒温器或其他控制系统被认为是智能代理的一个例子，人类是一个复杂的代理。为了理解智能代理的结构，我们应该熟悉架构和代理程序。架构是代理执行的机器。它是一种带有传感器和执行器的设备，例如机器人汽车、相机和 PC。代理程序是代理功能的实现。

该策略是根据特定的系统环境和所选黑客组织的标准做法定制的，例如，它可能会决定在检测到 Outlook 应用程序时包含密码窃取任务，而不是在服务器上安装后门帐户。正如之前预期的那样，我们的概念验证 (PoC) 自主恶意软件是一个支持 AI 的 Powershell 脚本，旨在说明人工智能在自动化和决策方面的潜力，每个执行阶段都强调人工智能的适应性和智能性。这一阶段的一个有趣的方面是人工智能的战略决策，它密切模仿知名黑客组织使用的策略。组的选择不是随机的，而是由系统的特定上下文和条件决定。

Transformers 的主要构建块是自注意力，这是注意力的一种变体，它将序列中的每个元素替换为序列其余部分的加权平均值。凭借大规模的参数，它表现出了出色的小样本性能，在 29 个最广泛评估的英语 NLP 任务中的 28 个上取得了最先进的结果，包括代码生成、问答、多语言生成、NMT、推理ETC。MUM 是多模式的，因此它可以理解文本和图像中的信息。在本文中，我们讨论了基于 Transformer 的自监督语言模型系统，并探讨了几种流行的模型，这些模型要么在行业中大量使用，要么优于当前的技术水平。

当智能体采取行动时，它需要通过尝试和错误来执行各种行动，以维持探索和利用之间的平衡，以支持在未来产生最大奖励的行动。然后，使用监督学习模型对属于模型训练数据类别的先前未见过的未标记数据生成预测。监督学习是指通过练习充当标记数据的示例来了解 Python 的功能，然后使用获得的知识为未见过的用例编写 Python 程序。孩子发现无需外部监督即可对玩具进行聚类的新方法，类似于无监督学习。机器学习 (ML) 是人工智能 (AI) 的一个子集，定义为计算机通过使用算法来模仿人类决策和预测的智能行为从数据中学习的。

它能够检测数据中的细微模式和异常、预测未来威胁以及自动化网络安全的各个方面，可以为各种规模的组织带来显着的好处。通过利用其生成新数据和见解的能力，生成式 AI 已成为网络安全专业人员的强大工具，帮助他们在不断变化的威胁环境中保持领先地位。在这种情况下，生成人工智能在网络安全中的大量应用正在改变组织处理安全问题的方式，从检测新的和未知的威胁到简化事件响应和减少误报。目标是对新的、看不见的数据做出准确的预测。在网络安全的背景下，生成式人工智能可用于创建传统网络安全工具可能无法检测到的新的、更复杂的恶意软件。

GPT模型参数的训练过程宏观上有两个大环节，先从上往下进行推理，再从下往上进行训练，具体过程为：1、模型初始化参数随机取得；2、计算模型输出与真实数据的差距（损失值和梯度）3、根据损失值，反向逐层调整权重参数；如下图：参数的生命周期分为三个阶段：一、参数的产生-训练。初始通过随机产生，之后多次迭代训练，最终逼近准确值。这个过程在稍后的代码实践会有所体现。二、参数的使用--推理。这个过程主要就是大量的矩阵计算。三、参数微调。

与超参数对应的还有一个词叫参数，参数是在训练过程中得到的，出厂前的训练叫预训练，会得到基础参数（最开始的参数叫原始参数，随机生成的），但在实际的使用过程中，需要经过Fine-tuning,也就是微调，类似与把一套毛坯房装修为精装房的过程，以后在使用该模型的时候，其实就等于入住了。在自注意力子层中，有自注意头，且因为没有输出，其输入主要来自自己，也就是左边的信息，所有叫做自回归自注意力机制。数量，词向量，位置向量，解码器层数，自注意力头数、注意力维度数、学习率等。

GPT 模型是 Generative Pretrained Transformers 的缩写，是一种先进的深度学习模型，旨在生成类人文本。生成模型是用于生成新数据的统计模型。这些模型可以学习数据集中变量之间的关系，以生成与原始数据集中相似的新数据点。这些模型已经使用大型数据集进行了预训练，可以在难以训练新模型时使用。尽管预训练模型可能并不完美，但它可以节省时间并提高性能。Transformer 模型是 2017 年创建的人工神经网络，是最著名的能够处理文本等序列数据的深度学习模型。