- 博客(1428)
- 资源 (64)
- 收藏
- 关注
RSS订阅原创 【越狱检测】HSF: Defending against Jailbreak Attacks with Hidden State Filtering
本文提出了一种基于隐藏状态过滤器（HSF）的防御策略，旨在防止大型语言模型（LLM）在推理前受到越狱攻击。随着LLM在日常应用中的广泛使用，确保其输出符合人类价值观并避免有害内容变得至关重要。然而，现有的防御方法在应对多样化的越狱提示时效果有限，且计算成本高昂。通过分析LLM的隐藏状态表示空间，我们发现越狱攻击、安全查询和有害查询表现出不同的聚类模式。基于这一观察，HSF利用LLM的隐藏状态表示能力，将防御任务转化为分类问题，通过一个轻量级插件模块在推理前识别并拒绝敌对输入。实验结果表明，HSF显著增强了对
2025-05-13 17:14:57
746
原创 【越狱检测】Efficient Detection of Toxic Prompts in Large Language Models
大型语言模型（LLMs）如ChatGPT和Gemini在自然语言处理领域取得了显著进展，但也面临恶意提示引发有害内容的风险。现有检测方法在多样性、可扩展性和计算效率方面存在挑战。为此，Yi Liu等人提出了ToxicDetector，一种轻量级灰盒方法，通过分析LLM的嵌入向量来高效检测恶意提示。ToxicDetector利用多层感知器（MLP）分类器，准确率高达96.39%，假阳性率低至2.00%，处理时间仅为0.0780秒，适合实时应用。该方法在多个LLM模型和数据集上表现优异，具有高准确率
2025-05-13 14:22:51
1005
原创 【大模型安全对齐】Align in Depth: Defending Jailbreak Attacks via Progressive Answer Detoxification
大型语言模型容易受到越狱攻击，这种攻击使用精心设计的提示来引发有害的响应。这些攻击利用了llm在生成过程中难以动态检测有害意图的缺陷。传统的安全对齐方法往往依赖于最初的几个生成步骤。本文提出了 DeepAlign，这是一个强大的防御框架，可以微调llm以逐步解毒生成的内容，显着提高计算预算和减少有害生成的有效性。我们的方法使用在隐藏状态上操作的混合损失函数来直接提高llm在生成过程中对毒性的固有意识。此外，我们通过生成有害查询的语义相关答案来重新定义安全响应，从而增加对表示突变攻击的鲁棒性。
2025-05-03 21:49:53
745
原创 大模型微调时梯度错误检查Debug调试代码
对你自己写的Trainer类重写training_step方法：如下所示。logger在__init__里初始化。
2025-04-02 13:10:11
186
原创 DeepSpeed LoRa微调时： RuntimeError: element 0 of tensors does not require grad and does not have a grad
model.enable_input_require_grads() 在使用 PEFT（Parameter-Efficient Fine-Tuning）与梯度检查点（gradient checkpointing）结合时起着关键作用。解决方案：model.enable_input_require_grads() 通过注册一个前向钩子，强制模型在前向传播过程中保留输入的梯度信息，即使这些输入来自冻结的部分，确保梯度能正确传播到 LoRA 参数。启用enable_input_require_grads功能。
2025-04-02 13:04:17
240
原创 【大模型提效】Towards Automated Cross-domain Exploratory Data Analysis through Large Language Models
探索性数据分析 (EDA) 与 SQL 相结合，对于涉及数据探索和分析的数据分析师至关重要。然而，数据分析师经常面临两个主要挑战：（1）需要巧妙地制作 SQL 查询，以及（2）需要生成合适的可视化类型来增强查询结果的解释。由于其重要性，已经进行了大量研究工作来探索解决这些挑战的不同方法，包括利用大型语言模型 (LLM)。然而，现有的方法不能满足现实世界的数据探索要求，主要是由于(1)复杂的数据库模式;(2)用户意图不明确;(3)跨域泛化能力有限;(4)端到端文本到可视化能力不足。
2025-03-21 23:05:23
706
4
原创 【大模型提效】Chat2Query: A Zero-Shot Automatic Exploratory Data Analysis System with Large Language Models
数据分析师在 SQL 进行探索性数据分析时经常遇到两个主要挑战：（1）需要巧妙地制作 SQL 查询，（2）需要生成合适的可视化来增强查询结果的解释。大型语言模型 (LLM) 的出现引发了文本到 SQL 和数据到文本的范式转变。本文介绍了 Chat2Query，这是一个 LLM 赋能的零样本自动探索数据分析系统。首先，Chat2Query 提供了一个用户友好的界面，允许用户使用自然语言直接与数据库交互。
2025-03-21 00:12:45
667
原创 【大模型越狱】【CodeAttack】Exploring Safety Generalization Challenges of Large Language Models via Code
大型语言模型 (LLM) 的快速发展为自然语言处理带来了显着的能力，但也引发了对其潜在滥用的担忧。虽然来自人类反馈的监督微调和强化学习等策略提高了他们的安全性，但这些方法主要集中在自然语言上，可能无法推广到其他领域。本文介绍了CodeAttack，这是一个将自然语言输入转换为代码输入的框架，为测试llm的安全泛化提供了新的环境。
2025-03-11 01:24:40
774
1
原创 fastchat 支持llama3 & harmbench PAIR攻击支持 llama3
fastchat 一年没发版了，但是代码里是支持 llama3 的，参考这里直接修改pip依赖源码：https://github.com/lm-sys/FastChat/blob/main/fastchat/conversation.py#L164。【搜LLAMA3关键字】只有几处；
2025-02-27 20:16:54
288
原创 【大模型越狱】【NeurIPS 2023】 Jailbroken: How Does LLM Safety Training Fail?
经过安全和无害训练的大型语言模型仍然容易受到对抗性滥用，对 ChatGPT 早期版本的普遍“越狱”攻击就证明了这一点，这些攻击会引发不良行为。除了认识到问题之外，我们还调查了此类攻击成功的原因以及如何创建它们。我们假设安全训练的两种失败模式：竞争目标（competing objectives）和不匹配的泛化（mismatched generalization）。
2025-01-14 00:23:40
1065
原创 教程 # 从 Transformers 库开始学习 NLP # 1 NLP基础与Transformer基础
UNILM 模型通过给 Transformer 中的 Self-Attention 机制添加不同的 MASK 矩阵，在不改变 BERT 模型结构的基础上同时实现了双向、单向和序列到序列（Sequence-to-Sequence，Seq2Seq）语言模型，是一种对 BERT 模型进行扩展的优雅方案。大部分情况下，我们都不会从头训练模型，而是将别人预训练好的模型权重通过迁移学习应用到自己的模型中，即使用自己的任务语料对模型进行“二次训练”，通过微调参数使模型适用于新任务。
2025-01-09 00:39:00
1219
原创 【大模型安全】Refuse Whenever You Feel Unsafe: IMPROVING SAFETY IN LLMS VIA DECOUPLED REFUSAL TRAINING
本研究针对大型语言模型（LLMs）安全调优实践中的关键差距，通过识别和解决安全调优数据中的 refusal position bias，该偏差损害了模型拒绝生成不安全内容的能力。我们引入了一种新颖的方法，解耦拒绝训练（DeRTa），旨在使 LLMs 能够在任何响应位置拒绝有害提示，显著提高其安全性。DeRTa 包含两个新颖组件：（1）带有有害响应前缀的最大似然估计（MLE），通过在安全响应的开头添加一段有害响应来训练模型识别和避免不安全内容；
2025-01-06 12:35:11
1064
原创 Refusal in Language Models Is Mediated by a Single Direction
会话型大语言模型针对指令遵循和安全性进行了微调，从而产生服从良性请求但拒绝有害请求的模型。虽然这种拒绝行为在聊天模型中普遍存在，但其背后的机制仍然知之甚少。在这项工作中，我们展示了拒绝是由一维子空间介导的，涉及 13 个流行的开源聊天模型，参数大小高达 72B。具体来说，对于每个模型，我们找到一个单一方向，这样从模型的残余流激活(residual stream activations)中删除该方向可以防止其拒绝有害指令，而添加该方向会导致拒绝甚至无害的指令。利用这一见解，我们提出了一种新颖的白盒越狱方法。
2024-12-24 00:23:07
1508
原创 [NeurIPS 2024] Improving Alignment and Robustness with Circuit Breakers
人工智能系统可能会采取有害行为，并且非常容易受到对抗性攻击。受表示工程最新进展的启发，我们提出了一种方法，当模型用“断路器”响应有害输出时，该方法会中断模型。旨在改善一致性的现有技术，例如拒绝训练，经常被绕过。对抗性训练等技术试图通过对抗特定攻击来堵塞这些漏洞。作为拒绝训练和对抗性训练的替代方案，circuit-breaking 首先直接控制那些造成有害输出的表征。我们的技术可以应用于纯文本和多模式语言模型，以防止有害输出的生成，而不会牺牲实用性——即使存在强大的看不见的攻击。
2024-12-16 00:38:33
738
1
原创 [COLM 2024] V-STaR: Training Verifiers for Self-Taught Reasoners
大型语言模型 (LLMs) 的常见自我改进方法（例如 STaR）会在自我生成的解决方案上迭代微调 LLMs，以提高其解决问题的能力。然而，这些方法丢弃了在此过程中生成的大量不正确的解决方案，可能忽略了此类解决方案中的有价值的信息。为了解决这个缺点，我们提出了 V-STaR，它利用自我改进过程中生成的所有正确和错误的解决方案来训练使用 DPO 的验证器，以判断模型生成的解决方案的正确性。该验证器用于在推理时从许多候选解决方案中选择一个解决方案。
2024-12-11 19:32:16
1119
原创 [NeurlPS 2022] STaR 开源代码实现解读
结合代码以及论文解读现在重新来理解论文。论文基本思路是，先给出few-shot，让模型参考few-shot在回答answer前带上rationales，如果回答不正确，就加上hint回答，最终把回答正确的样本留下进行下一轮微调。在具体代码实现上，首先在 eval_examples 中，对样本做了个 batch 级别的 cache，每满8个，才执行对应的推理（回答）。这里维护了两个cache 队列，一个是回答正确的队列，一个是直接回答失败的队列（因此，用合理化修改了原始prompt）。
2024-12-08 23:43:13
1131
原创 [NeurlPS 2022] STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
生成逐步的“思维链”理由(rationales)能够提高语言模型在复杂推理任务上的表现，比如数学或常识问答。然而，目前诱导语言模型生成理由要么需要构建庞大的理由数据集，要么只能通过少量样本推理牺牲准确性。我们提出了一种技术，通过迭代利用少量理由示例和一个没有理由的大型数据集，来引导模型逐渐掌握更复杂的推理能力。生成理由以回答许多问题，提示一些理由示例；如果生成的答案是错误的，尝试在给定正确答案的情况下再次生成理由；对所有最终得出正确答案的理由进行微调；重复这个过程。
2024-12-05 00:14:56
804
原创 Machine Learning is All You Need: A Simple Token-based Approach for Effective Code Clone Detection
本文介绍了一种名为 Toma 的代码克隆检测方法，它使用令牌和机器学习来检测代码克隆。通过提取令牌类型序列并使用六种相似度计算方法生成特征向量，然后将这些向量输入到训练好的机器学习模型中进行分类。实验结果表明，Toma在效率和可扩展性方面都优于基于令牌的代码克隆检测器和大多数基于树的克隆检测器。数据集：BigCloneBench。
2024-11-29 01:57:05
1119
原创 推荐系统 # 三、推荐系统排序层：粗排/精排、融分、排序模型特征工程
本文详细介绍了推荐系统中的排序层，对粗排、精排算法进行了介绍，同时介绍了多目标模型、MMoE模型、估分和融分、排序模型特征工程等相关知识。
2024-10-30 19:21:10
496
原创 推荐系统 # 二、推荐系统召回：协同过滤 ItemCF/UserCF、离散特征处理、双塔模型、自监督学习、多路召回、曝光过滤
线上环境：缺点：社群对算法的误导。
2024-10-19 23:58:18
808
原创 软件安全漏洞分析与发现 复习笔记
略。查ppt。修正：上图中的语句2 的可到达语句不包括4。定义集合我们先确定每个语句的 Gen 和 Kill 集合：路径分析接下来我们分析从入口到 [9] 的所有路径：在每个路径上，我们计算每个语句的 In 和 Out 集合。路径1: [0] -> [1] -> [2] -> [3] -> [4] -> [5] -> [9]In(0) = {}
2024-06-12 16:53:09
1112
原创 Orange Pi AI Pro 开箱 记录
香橙派 AIpro配备了强大的硬件配置，包括8GB内存、电源、散热组件和32GB存储卡。这些硬件为AI开发提供了充足的资源和稳定的运行环境。OrangePi AIpro(8T)采用昇腾AI技术路线，4核64位处理器+AI处理器，集成图形处理器，支持8TOPS AI算力，拥有8GB/16GB LPDDR4X，可以外接32GB/64GB/128GB/256GB eMMC模块，支持双4K高清输出。
2024-06-06 21:44:03
1211
1
原创 Neo4j+LLM+RAG 环境配置报错处理
打开Neo4j的配置文件（通常是neo4j.conf），找到dbms.security.procedures.unrestricted这一项。确保该项设置为允许使用apoc插件。你可以将其设置为apoc.*，这将允许所有apoc的过程，或者你也可以根据需要设置更具体的值。解决方案，安装插件。我的版本是：neo4j-community-4.4.26。重启Neo4j：保存配置文件并重启Neo4j数据库，以使新的安全设置生效。下载对应的：apoc-4.4.0.26-all.jar。没有安装APOC插件。
2024-05-05 16:53:55
3703
3
原创 USENIX Security 安全顶会文献阅读：《ALASTOR : Reconstructing the Provenance of Serverless Intrusions》
ALASTOR 是一个基于溯源的审计框架(provenance-based auditing framework)，用于精确跟踪无服务器应用中的可疑事件。无服务器计算将传统应用分解成短暂的、可重入的函数，使攻击者能够在合法工作流中隐藏其活动，并通过滥用暖容器重用策略破坏因果路径来阻止根因分析。ALASTOR 记录函数活动，在系统和应用层捕获每个函数实例的行为全貌，然后将来自不同函数的溯源信息在无服务器平台的中央仓库聚合起来，生成复杂函数工作流的全局数据溯源图。
2024-03-13 22:33:45
1178
2
原创 React 组件跨层级数据共享：createContext、useContext、useMemo
原本组件传递需要一层一层props传递，传递太过繁琐多个 context。
2024-02-04 22:01:46
677
原创 Python 轻量级定时任务调度：APScheduler
APscheduler (Advanced Python Scheduler)，作用为按指定的时间规则执行指定的作业。提供了基于日期date、固定时间间隔interval 、以及类似于Linux上的定时任务crontab类型的定时任务。该框架不仅可以添加、删除定时任务，还可以将任务存储到数据库中，实现任务的持久化。
2024-02-04 00:00:56
1863
原创 ES6 语法精粹简读
ECMAScript 6.0（以下简称 ES6）是 JavaScript 语言的下一代标准，在 2015 年 6 月正式发布。目标是使得 JavaScript 语言可以用来编写复杂的大型应用程序，成为企业级开发语言。
2023-12-20 01:23:45
1164
原创 Anaconda 虚拟环境报错：pip is configured with locations that require TLS/SSL, however the ssl modu
Anaconda 虚拟环境中的 python pip 安装依赖时报错：WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.Looking in indexes: https://mirrors.aliyun.com/pypi/simple/WARNING: Retrying (Retry(total=4, connect=Non
2023-12-13 01:19:24
1368
原创 安全开发：身份认证方案之 Google 身份验证器和基于时间的一次性密码 TOTP 算法
目前很多应用都逐步采用了双因子认证或者说MFA认证方案，因此本文介绍一下背后的机制和原理。使用TOTP算法，只要满足两个条件：1）基于相同的密钥；2）时钟同步；只需要事先约定好密钥，TOTP算法就可以保证校验段和被校验端具有相同的输出。
2023-12-11 13:49:51
3820
原创 软件安全学习课程实践3：软件漏洞利用实验
1.1.1 和 1.1.2 直接 F5 看 flag 就可以了，故略。1.1.3 对输入用了算法变换，能看到flag，比如输入x,经过f处理成f(x)然后判断f(x)=y，现在要破解f的算法然后写个逆预算g(y)=x这个代码看起来很抽象，因为 IDA 没有正确的恢复这里的变量结构。选中变量按“N”重命名，按“Y”更改类型这里很明显是一个buf数组，IDA识别成两个变量，按Y修改为char buf[20]数组。
2023-11-17 01:22:29
466
原创 快手 KDD 2023 入选论文解读 # Graph Contrastive Learning with Generative Adversarial Network
问题：现有的 GCL 方法没有考虑图的分布，导致对于潜在边(unseen edges)的缺失考虑，利用这个信息在实验中可以提高 GCL 的性能。方法：本文利用 GAN 来学习图分布，提高数据增强的能力，然后联合训练 graph GAN 和 GCL 模型，即提出的 GACN 模型。GACN 利用 generator 生成的 views 并以 graph contrastive loss 和 bayesian personalized ranking loss 这两个自监督损失来训练 GNN encoder。
2023-08-06 01:50:57
1141
3
原创 Mac 终端快捷键设置：如何给 Mac 中的 Terminal 设置 Ctrl+Alt+T 快捷键快速启动
Mac 电脑中正常是没有直接打开终端命令行的快捷键指令的，但可以通过 command+space 打开聚焦搜索，然后输入 ter 或者 terminal 全拼打开。系统偏好设置→键盘→快捷键→服务→通用中找到刚才命名的脚本，【打开Terminal】，然后配置快捷键即可。1.command+space 打开聚焦搜索“automator”，显示的也可能是中文名的“自动操作”。然后可以点击运行【▶】测试一下是否能打开 terminal。保存，命名【打开Terminal】如下图所示：选择【服务】
2023-07-31 15:18:13
3501
1
原创 【密码原理】群与公钥加密体制：Diffie-Hellman密钥交换、ElGamal加密、零知识证明
本文主要介绍群、公钥密码体制以及DH协议、ElGamel加密和零知识证明ZKP基础，为后续进一步学习ZKP打下基础
2023-07-24 15:12:25
808
C++_STL使用例子大全
2016-07-30
Learning the vi and Vim Editors
2016-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人