- 博客(343)
- 资源 (13)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 大语言模型安全风险分析及相关解决方案
构建LLM安全是一个持续演进的过程，需要组织采取积极主动的安全策略。这不仅包括实施技术层面的防护，还要建立完善的流程和制度，形成一套立体化的安全体系。输入验证和输出清理应作为基础的安全实践被优先执行。同时，组织需要建立安全的训练数据管理方法，确保数据来源可靠并进行完整性检查。为LLM应用和模型配备强大的访问控制和身份验证机制，并持续监控LLM的行为和交互，以便及时检测任何可疑活动和异常。此外，有效的事件响应计划对于处理LLM安全漏洞至关重要。
2025-03-15 10:06:46
214
翻译 模型即产品
《The Model is the Product》强调了模型在产品化和应用中的核心地位，以及智能体技术在自动化任务执行中的重要作用。
2025-03-09 23:23:58
112
原创 大模型赋能网络安全整体应用流程概述
安全大模型的应用大致可以分为四个阶段：阶段一主要基于开源基础模型训练安全垂直领域的模型；阶段二主要基于阶段一训练出来的安全大模型开展推理优化、蒸馏等工序，从而打造出不同安全场景的专家模型，比如数据安全领域、安全运营领域、调用邮件识别领域等等；阶段三基于不同安全场景的专家模型开展智能体开发，此过程属于复杂的系统工程，需要基于不同的场景对多个专家模型和安全大模型进行微调、提示、检索增强、联合任务适配、大小模型协同等，典型的架构为MOE。
2025-02-09 23:46:00
292
原创 读《荒野之境》有感
但也有好的感受，《荒野之境》描述了大量的自然景象，狂风、暴雨、冰雪、朝阳、夕阳、森林、河流，春夏秋冬四季轮回，这些描述触发了我对老家的回忆，虽然作者描述的是北欧，而我却有家乡，有些感受难以用形容词来表达，比如炎热的夏天里，午睡醒来已经是傍晚，只看见风扇在不停的转动；另一方面，不知道是原著还是译者的原因，有些描述过于辞藻华丽、刻意堆砌，读多了就有点乏味。断断续续，耗时一个多月，没想到最后是在医院里看完了这本书。当初借这本《荒野之境》的主要目的是想换换心境，阅读一些陈述类的文字，尤其对不曾去过的大自然。
2025-01-17 09:35:20
223
原创 对45家“AI+安全”产品/方案的分析
“AI+安全”创新非常活跃，一片百家争鸣之势，赛道选择上，以事件分诊Incident Triage、 安全辅助Security Copilots、自动化Automation三者为主为主，这充分反映了当前安全运营的主要需求，在产品理念选择上以 AI 和 自动化为主，这确实又切合上了在关键价值层面的“减少分析师负担”、“减少手动工作量”、“缩短响应时间”。
2025-01-01 20:31:38
1107
原创 基于LangChain构建安全Agent应用实践（含代码）
本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能，最后给出Agent在安全领域应用的三点启示。
2024-10-30 19:39:42
1425
原创 基于LLM的钓鱼邮件检测实践（含代码）
本文以Google colab 环境，基于ollama+gemma2实现钓鱼邮件的分析，代码实现逻辑主要分为以下八步。
2024-10-29 00:21:41
1479
1
原创 面向大模型应用的安全检测实践（含代码）
基于大模型的应用存在较多的安全风险，比如提示词注入、敏感信息泄露等，LLM安全问题可以通过LLM安全库（如Prompt Armor, Lakera）提供的强大运行时安全措施以及监控工具（如Langfuse）对这些措施效果的异步评估来解决。本文例举了禁止主题、去匿名化个人信息、多扫描器堆叠、输出扫描、提示词注入五个典型的应对办法，并就提示词注入进行了详细代码举例。
2024-10-28 12:16:56
1024
原创 寻找大自然的颜色
一路上我和小孩寻找一些秋天的颜色并帖在白纸上，有橙色的花、紫色的花、暗红色的树叶、灰白色的树叶等等，我们在正式登山之前基本已经完成了“秋天”的收集。
2024-10-26 23:03:38
313
原创 基于Dify搭建大模型知识智能体
本文搭建“LLM专家客服”的主要步骤分为四步：step1：注册相关工作。step2：RAG知识库建立。step3：编排与调试。step4：应用发布。
2024-08-18 13:15:48
2489
原创 大模型学习资源分享（覆盖应用、原理、开发、资讯）
【前言】2022年的12月，对所IT从业者来说，应该都是记忆深刻的。那时chatgpt横空出世，席卷全球，大家都在寻求一个账号进行体验，随后这股趋势就一发不可收，百模型大战、千模大战相继而来。但在被各类AIGC应用惊艳后，我们自然想进一步探索其背后实现的原理，AI虽然门槛高，笔者自学过程中也’三起两落“过，幸运的是2022年底转机出现了，一方面确实感受到了生成式AI的强大，另一方面公司也刚好大力投入这块业务，理论结合实践，实践反哺理论，这一次确实扎进去了。
2024-08-17 13:04:36
1192
翻译 【麻省理工科技评论】大型语言模型可以做一些令人瞠目结舌的事情，但没有人确切知道为什么。
如果你能做一些了不起的事情，但你不能真正控制它，那么它就不是那么神奇了。如果方向盘摇晃，一辆时速可以行驶 300 英里的汽车有什么用呢？
2024-05-04 12:02:43
177
翻译 专家混合 (MoE)：条件计算的诞生和兴起
在深度学习中，模型通常对所有输入重复使用相同的参数。专家混合 (MoE) 模型违背了这一点，而是为每个传入的示例选择不同的参数。结果是一个稀疏激活的模型——参数数量惊人——但计算成本恒定。- 来自 [5]经过二十多年对 MoE 的研究，我们应该对这个想法、它的有效性以及如何应用它来训练更好的语言模型有一个很好的了解。关于这个主题的研究已经经历了几个阶段，但所有这些工作的关键要点可以总结如下。核心理念。MoE 背后的基本思想是将模型的参数计数与其使用的计算量分离。
2024-04-21 14:22:49
144
原创 基于lora技术对Gemma（2B）大模型的微调实践
本文主要基于Lora技术，在Google colab上用A100对Gemma 2B大模型进行了指令微调，第一次指令微调是采用databricks-dolly-15k 作为数据集，取得了不错的微调效果，能准确用英文回答问题，但是databricks-dolly-15k 毕竟是英文数据集，微调后的模型对中文的理解并不好，为使模型对中文有更好的理解，笔者采用COIG-CQIA数据集进行了指令微调，微调后模型对中文回答的效果非常明显。
2024-04-05 17:58:45
2442
5
原创 在大模型实践旅途中摸了下上帝的脚指头
所以此阶段我开展 更大范围的落地推进活动，处于对已测试客户效果的真切感受和对大模型的进一步理解，我的自信开始展示在每一次的客户交流和市场演讲当中，这阶段我已经开始很直接的告诉客户在哪些环节中，可以用新技术解决老问题和带来新价值，所以，与客户探讨可落地的产品解决方案成为第一优先级。----------------------------------------------全文完-----------------------------------------------------------
2024-02-08 23:13:03
1015
原创 文字练习-莫道人生无再少
小时候屋前院子有两棵桃树，一棵在左边，一棵在中间偏右，春天的时候，满树粉红色的桃花热情盛开，晴天放学的时候，远远看到就是一个纯粹的桃花世界。除了桃花盛开的春天，还有慵懒的夏天、凋零上霜的秋天和寂静皑皑的冬天，每个季节里，都有很多现在看起来纯粹、简单却温馨无比的故事，我只能在偶尔想起这些时，才能找到片刻的宁静与欣慰。一天一天，早出晚归，工作成了生活的全部。历史的车轮滚滚向前，二十年前的世界和现在的世界差别太大，作为人，有幸的是可以用感觉来丈量这种变迁，不幸的是，这种变迁并不一定如你所愿。
2024-01-07 00:19:32
478
翻译 RNN 和 LSTM 简介
所以所有的输出都是独立的。RNN 可以采用一个或多个输入向量并产生一个或多个输出向量，并且输出不仅受到像常规神经网络一样应用于输入的权重的影响，而且还受到表示基于先验的上下文的“隐藏”状态向量的影响输入/输出。常规 RNN 的工作方式是，隐藏状态激活受到最接近它们的其他局部激活的影响，这对应于“短期记忆”，而网络权重则受到整个长期计算的影响。RNN 被称为循环网络，因为它们对序列中的每个元素执行相同的任务，输出取决于之前的计算，并且您已经知道它们有一个“记忆”，可以捕获有关到目前为止已计算内容的信息。
2023-12-30 18:30:00
194
翻译 卷积神经网络（CNN）简介
来检测整个图像中存在的特征，例如边缘。由于我们通常使用小内核，因此对于任何给定的卷积，我们可能只会丢失一些像素，但是当我们应用许多连续的卷积层时，这可能会增加。但是，当相同的滤波器/内核传递到具有相当不同的边缘集的图像部分时，卷积的输出很小，这意味着不存在任何加号和元素级乘积，并且总和将导致零或非常小的值。由于图像的该部分包含与滤波器正在寻找的相同的加号，因此卷积运算的结果是一个很大的数字。执行图像增强，而不是用大量图像来训练模型，我们可以用更少的图像来训练我们的模型，并用不同的角度训练模型并修改图像。
2023-12-29 22:45:00
351
翻译 深度学习中的 Transformer 神经网络：解释
另一种方法是保留最上面的两个单词（例如“I”和“a”），然后在下一步中运行模型两次：一次假设第一个输出位置是单词“I”，另一次假设第一个输出位置是单词“a”，并且考虑到位置#1和#2，保留产生较少错误的版本。由于我们没有可以记住序列如何输入模型的循环网络，因此我们需要以某种方式为序列中的每个单词/部分提供一个相对位置，因为序列取决于其元素的顺序。当我们在编码器#5（堆栈中的顶部编码器）中对单词“it”进行编码时，注意力机制的一部分集中在“The Animal”上，并将其表示的一部分烘焙到“it”的编码中。
2023-12-28 23:45:00
1709
翻译 人工神经网络（ANN）简介
ReLU本质上是非线性的，ReLu的组合也是非线性的。需要注意的一件事是，由于 SGD 通常比典型的梯度下降噪声更大，因此由于其下降的随机性，通常需要更多的迭代次数才能达到最小值。在这种情况下，房地产市场上的普遍现象是，距离城市越远，越大的房子就越便宜。如果没有激活函数，我们的模型就无法学习和建模复杂的数据，例如图像、视频、音频、语音等。我们的目标是最小化成本函数。这个函数的问题是创建一个二元分类器（1或0），但是如果你想要连接多个这样的神经元以引入更多的类，Class1、Class2、Class3等。
2023-12-28 23:00:00
747
转载 深度学习和神经网络之间有什么区别？
深度学习系统简单神经网络架构由多个针对卷积或循环排列的隐藏层组成。神经网络由输入层、隐藏层和输出层组成。这些神经网络在结构上模仿人类大脑。复杂性根据其功能，深度学习网络非常复杂，其结构包括长短期记忆（LSTM）和自动编码器。神经网络复杂性较低，因为它们只包含几层。性能深度学习算法可以解决大量数据中的复杂问题。神经网络在解决简单问题时表现良好。培训训练深度学习算法需要花费大量的资金和资源。神经网络的简单性意味着训练成本较低。
2023-12-11 22:00:00
1289
原创 小模型学习（1）-人脸识别
思考：上面人脸识别的三个步骤，可以简单理解为先通过少量特征点找到人脸，然后通过算法提取每个人脸的特征，并用一组特征向量表示，且每个特征向量后面增加一个该人的姓名。比如【A1,A2,A3,A4,A5,小明】，如果有m个测试集，就会有一个行的矩阵，就类似构建了数据库，接下来就是使用该数据库。如何使用？把人脸输入，通过特征提取算法提取该人脸的特征向量，然后通过计算与之前构建数据库（就是那个m行的大矩阵）的欧式距离或者余弦相似度，从而找到输入的人脸是谁。
2023-12-10 22:50:39
418
原创 AI Agent 结构与分类
在人工智能中，智能代理AI Agent是以智能方式行事的代理；它感知环境，自主采取行动以实现目标，并可以通过学习或获取知识来提高其性能。智能代理可以是简单的，也可以是复杂的：恒温器或其他控制系统被认为是智能代理的一个例子，人类是一个复杂的代理。为了理解智能代理的结构，我们应该熟悉架构和代理程序。架构是代理执行的机器。它是一种带有传感器和执行器的设备，例如机器人汽车、相机和 PC。代理程序是代理功能的实现。
2023-12-04 23:35:48
2934
1
原创 早餐与风景
在外面等待的时光，车辆如期而至，是一位女司机，从车内的装饰看，应该是闲时出来接接单，她带着一副墨镜，我打开车门那一刹，听到一声豪爽的“您好”，我很懂规矩的报了手机尾号，然后开始出发。接下里就是按照正常的议程走，接待了不少陌生的客户，跟他们讲解、互动和传递，总之是一个有输入有输出的过程，就这样基本站了一整天，还好中午抽大家午餐时间，同事带我吃了些有特色的美食，中午这顿绝对比有天晚上和一个同事下班后在路边找吃的，走了一大段路没找到，最后拿手机导航却进了家上海混沌馆，更有味。来吧，我用流水账描述下这一天。
2023-09-22 22:51:30
352
翻译 数据隐私与数据安全与数据保护：深入探讨
数据隐私是收集、共享和存储尽可能少的数据的概念。另一方面，数据保护是指复制数据，以便在丢失或损坏时快速恢复数据。
2023-09-10 20:11:17
243
原创 安全模型中的4个P
在安全模型中，经常会碰到PDR,PPDR，IPDRR，CARTA-PPDR等模型，其中的P，是predicet？是prevent？还是protect？还是policy呢？在CARTA的架构PPDR架构中，可以看到没有pretect,其中的2个P都代表predict和prevent，笔者认为这代表了安全模型在强调防御的左移，应为protect其实相对prevent已经靠后了，结合CARTA的自适应和可视化，可以不断降低组织的MTTD和MTTR。
2023-09-08 18:25:14
1962
翻译 大模型遇上恶意软件：开启自主威胁时代
该策略是根据特定的系统环境和所选黑客组织的标准做法定制的，例如，它可能会决定在检测到 Outlook 应用程序时包含密码窃取任务，而不是在服务器上安装后门帐户。正如之前预期的那样，我们的概念验证 (PoC) 自主恶意软件是一个支持 AI 的 Powershell 脚本，旨在说明人工智能在自动化和决策方面的潜力，每个执行阶段都强调人工智能的适应性和智能性。这一阶段的一个有趣的方面是人工智能的战略决策，它密切模仿知名黑客组织使用的策略。组的选择不是随机的，而是由系统的特定上下文和条件决定。
2023-08-24 22:00:00
578
翻译 大型语言模型的演变——BERT、GPT3、T5 和 PaLM
Transformers 的主要构建块是自注意力，这是注意力的一种变体，它将序列中的每个元素替换为序列其余部分的加权平均值。凭借大规模的参数，它表现出了出色的小样本性能，在 29 个最广泛评估的英语 NLP 任务中的 28 个上取得了最先进的结果，包括代码生成、问答、多语言生成、NMT、推理ETC。MUM 是多模式的，因此它可以理解文本和图像中的信息。在本文中，我们讨论了基于 Transformer 的自监督语言模型系统，并探讨了几种流行的模型，这些模型要么在行业中大量使用，要么优于当前的技术水平。
2023-07-04 21:15:00
2295
翻译 监督学习、无监督学习和强化学习的直观解释及其差异
当智能体采取行动时，它需要通过尝试和错误来执行各种行动，以维持探索和利用之间的平衡，以支持在未来产生最大奖励的行动。然后，使用监督学习模型对属于模型训练数据类别的先前未见过的未标记数据生成预测。监督学习是指通过练习充当标记数据的示例来了解 Python 的功能，然后使用获得的知识为未见过的用例编写 Python 程序。孩子发现无需外部监督即可对玩具进行聚类的新方法，类似于无监督学习。机器学习 (ML) 是人工智能 (AI) 的一个子集，定义为计算机通过使用算法来模仿人类决策和预测的智能行为从数据中学习的。
2023-07-03 20:00:00
466
原创 GPT模型训练实践（3）-参数训练和代码实践
GPT模型参数的训练过程宏观上有两个大环节，先从上往下进行推理，再从下往上进行训练，具体过程为：1、模型初始化参数随机取得；2、计算模型输出与真实数据的差距（损失值和梯度）3、根据损失值，反向逐层调整权重参数；如下图：参数的生命周期分为三个阶段：一、参数的产生-训练。初始通过随机产生，之后多次迭代训练，最终逼近准确值。这个过程在稍后的代码实践会有所体现。二、参数的使用--推理。这个过程主要就是大量的矩阵计算。三、参数微调。
2023-07-01 18:13:24
3932
原创 GPT模型训练实践(2)-Transformer模型工作机制
与超参数对应的还有一个词叫参数，参数是在训练过程中得到的，出厂前的训练叫预训练，会得到基础参数（最开始的参数叫原始参数，随机生成的），但在实际的使用过程中，需要经过Fine-tuning,也就是微调，类似与把一套毛坯房装修为精装房的过程，以后在使用该模型的时候，其实就等于入住了。在自注意力子层中，有自注意头，且因为没有输出，其输入主要来自自己，也就是左边的信息，所有叫做自回归自注意力机制。数量，词向量，位置向量，解码器层数，自注意力头数、注意力维度数、学习率等。
2023-07-01 18:07:11
1113
原创 GPT模型训练实践（1）-基础概念
GPT 模型是 Generative Pretrained Transformers 的缩写，是一种先进的深度学习模型，旨在生成类人文本。生成模型是用于生成新数据的统计模型。这些模型可以学习数据集中变量之间的关系，以生成与原始数据集中相似的新数据点。这些模型已经使用大型数据集进行了预训练，可以在难以训练新模型时使用。尽管预训练模型可能并不完美，但它可以节省时间并提高性能。Transformer 模型是 2017 年创建的人工神经网络，是最著名的能够处理文本等序列数据的深度学习模型。
2023-07-01 12:36:07
1945
1
原创 RSA 2023-XDR ：Threat Response Needs New Thinking. Don‘t Ignore This Key Resource.
在最近的 RSA 2023 演讲中，来自思科的 Jeetu Patel 强调了扩展检测和响应 (XDR) 作为统一跨域安全平台的重要组成部分的重要性。 Patel 强调，跨域遥测可以实时跟踪跨企业域的漏洞利用，需要一个端到端的集成平台来确保有效防御威胁。
2023-05-17 21:16:51
187
Department of Defense (DoD) Zero Trust Reference Architecture 翻译
2022-11-24
网络安全系列报告.zip
2020-10-24
入侵和攻击分析.xmind
2020-08-10
pthreadVC2.dll,libeay32.dll,ssleay32.dll
2017-11-28
HBR_How-Smart-Connected-Products-Are-Transforming-Competition
2017-11-14
OSI七层模式的会话层功能到底该如何理解？
2017-07-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人