DayDayUper___-CSDN博客

原创手算示例：在神经网络中进行后门攻击及验证

经过一次训练后，模型输出仍为0，而目标是5。显然，我们需要更多训练迭代来使模型学会后门。简化的手算示例显示了基本步骤：前向传播、计算损失、反向传播和更新权重。实际后门攻击通常更复杂，需要更复杂模型和更多训练样本。（省略详细计算过程）（省略详细计算过程）（省略详细计算过程）（省略详细计算过程）

2024-05-21 11:25:06 447

原创简单的Transformer模型手算示例

通过这个手算示例，我们展示了Transformer模型使用三头注意力机制、每个注意力头的维数为4，隐藏层维度为5的前向传播、计算损失和反向传播的基本过程。为了简化计算，我们对注意力计算和softmax进行了近似处理。实际应用中，Transformer模型的计算会复杂得多，但基本原理是相同的。这个例子有助于理解Transformer模型的基本工作机制和训练过程。

2024-05-21 11:10:18 823

原创（攻防角度）中国人工智能系列白皮书--大模型技术（2023版）之（2.3.3 语言大模型的提示学习）

虽然不是传统意义上的Few-shot Prompt Attack，但在跨模态场景中，通过提供有限的视觉或者听觉样本作为提示，攻击者可以误导模型在进行图像描述、声音分析等任务时产生错误的解释或结论。例如，通过几个提示表述，引导模型认为某种错误的信息是正确的，从而在后续的输出中反应这种偏见。不管是中文还是外语环境下都太多了，比如绿茶的那种口气，正常说一句话可能就是正常的意思，但是如果以一种阴阳怪气的语境下说出来，意思可能天差地别，甚至截然相反。”根据上下午，“窗户”可以指建筑中的窗户或计算机界面的一部分。

2024-05-10 11:33:05 1042

原创（攻防角度）中国人工智能系列白皮书--大模型技术（2023版）之（2.3.2 语言大模型的微调）

和对抗性输入攻击相比，指令注入攻击更暴力，像”霸总“，希望通过指令注入，钻逻辑漏洞，获得模型控制权，让干什么就干什么。由于添加式方法会需要在原模型基础上添加新的模块或者参数，如果添加模块的话，且模块被恶意修改过，那就有一定安全风险。：攻击者精心设计指令或文本输入，利用模型在处理某些特定输入时的脆弱性，比如语义上的歧义、字面和隐喻的解释差异。感觉回避检测可以和逆向工程结合，先复制一个出来，然后根据复制的模型上发现的检测机制，绕过去。：通过微小的修改影响模型对特定任务的执行，引导模型产生错误或偏见的输出。

2024-05-07 22:37:54 376

原创（攻防角度）中国人工智能系列白皮书--大模型技术（2023版）之（2.3.1 语言大模型的预训练）

例如，在语言模型预训练中，攻击者可以故意设计一个与实际应用场景不相关的任务，从而导致模型学到不相关的信息。所以可以设计一个热启动的参数访问控制机制。：损失函数的修改可能导致模型学习偏离原始目标，或者产生不稳定的训练过程，最终影响模型的性能和收敛速度。：攻击者可能试图修改训练过程中的目标任务，例如在训练的不同阶段切换任务，引入不一致的目标标准。：恶意数据的注入可能导致模型学习到错误的特征或偏见，从而影响模型的泛化能力和性能。：目标任务的改变可能导致模型学习到混乱的特征或行为，降低模型的性能或可靠性。

2024-05-07 18:51:49 38

原创（攻防角度）中国人工智能系列白皮书--大模型技术（2023版）之（2.2 语言大模型架构）

GPT生成的是连贯文本，所以输出的丰富性更高，但丰富性高并不一定是好事，因为会包含更多的语言结构信息，让攻击者更容易经过处理得到语言结构信息，造成泄密。其实就是看准了MLM是靠着对上下午的理解来训练学习的，所以想攻击就可以直接把上下午信息给改了，让MLM学习到的东西是错的。因为GPT学习时是根据上下文进行学习的，所以很容易在被诱导后，有意无意的泄露上下文的部分敏感信息。这种攻击依赖于模型对上下文的理解。可能更关注于影响模型对特定上下午的预测，通过注入具有特定偏见的训练样本来影响掩码位置的预测。

2024-05-07 14:11:17 144

原创（攻防角度）中国人工智能系列白皮书--大模型技术（2023版）之（2.1 Transformer架构）

模型逆向工程主要目的是为了深入了解模型内部架构参数等具体细节，而模型窃取攻击仅仅为了复制一个模型用于挣钱或者省钱，更粗暴无脑。而优化基方法更精细，需要先分析损失函数的值什么情况下最容易变大，然后再针对性的生成对抗性样本。由于FGSM是PGD的迭代版本，从原来单步方法迭代为多步方法，只需要在合理范围之内即可。通过修改训练数据，使得模型学到错误的信息，从而在实际使用中表现异常。导致模型在特定输入上产生错误的输出，而不影响其它输入的表现。通过分析模型的输出，推测模型的结构、参数或训练数据。

2024-05-07 10:44:29 133

原创 2.3.1 语言大模型的预训练

为了降低这些风险，开发和维护模块化大模型时需要采取全面的安全措施，包括但不限于使用安全的编码实践、定期进行安全审计、实施严格的接口安全控制、确保数据加密、及时更新和打补丁等。在扩展过程中，原有的安全措施可能不足以应对新增的安全挑战，需要不断调整和增强安全策略以适应规模扩大后的安全需求。攻击者可能通过逆向工程技术来了解模型的工作原理，寻找可利用的漏洞，或者用于开发针对性的攻击策略，比如对抗性攻击。对于在线服务的模型，如API提供的模型，服务拒绝攻击可能通过大量请求来耗尽资源，使模型无法服务于合法用户。

2024-05-06 14:09:07 464

原创学习笔记＜2024.4.15-2024.4.21＞：Attention Is All You Need

Transformer中Self-Attention以及Multi-Head Attention详解。

2024-04-17 16:49:15 125

原创 C++之文件读写

【代码】C++之文件读写。

2024-03-15 22:26:46 100

原创 c++之重载运算符（全）

【代码】c++之重载运算符（全）

2024-03-10 16:58:24 137

原创东南大学533：C++（上）上机题选编

1.定义一个函数int digit(int x)，功能是分别取x的最高位数字a，和x的最低位数字b，然后交换a和b的位置（如：对3568处理得到8563）。)2的值,其中函数f1()用来求阶乘，函数f2( )调用函数f1( )用来求阶乘的平方，则程序正确的运行结果是：15017。编写一个程序，并请编写函数countvalue( )，它的功能是：求n以内（不包括n）能被3或7整除的所有自然数之和的平方根，并作为函数值返回。)，参数为两个整型变量a和b，功能是计算a和b的最大公约数，并返回计算结果。

2024-02-01 17:57:28 943