- 博客(28)
- 收藏
- 关注
RSS订阅原创 大模型微调踩坑：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
今天在微调Llama-3.1-8B-Instruct模型时遇到了一个奇怪的错误。当我尝试使用QLoRA和PEFT进行微调时，程序报错提示。
2025-07-26 10:43:30
288
原创 信息安全基础专业面试知识点（上：密码学与软件安全）
这种设计是为了兼容早期的单DES系统。如果 K1 = K2，那么 3DES 加密就等同于单DES加密（第一次加密和第一次解密会相互抵消，只剩下第二次加密）。
2025-07-17 12:52:10
860
原创 操作系统复习重点：进程管理
T1：周期性地检查太空船和软件的状况 T2：处理图像数据 T3：临时地检测设备的状态 优先级：T1 > T2 > T3 依赖关系：T1 和 T3互斥地访问一个资源。如果T3占着资源，T1就没办法抢占优先级低的任务继承与它共享同一资源的优先级较高的任务的优先级优先级与资源关联，每个资源都对应一个优先级。调度器动态地将资源的优先级分配给使用该资源的任务。任务结束时，优先级恢复原来的值。
2025-07-14 12:42:51
798
原创 人工智能安全基础复习用：可解释性
在模型中间层插入简单分类器（如线性层），探查该层是否编码特定信息（如词性、句法）。数据驱动的模型易学习虚假关联（如性别/种族偏见），可解释性揭示这些偏见。训练一个简单模型（如线性回归）拟合扰动数据的预测结果，权重即特征重要性。通过权重显示模型关注的部分（如Transformer中的单词重要性）。解释点（用户）、边（交易关系）、子图（黑产团伙）的重要性。：关联抽象概念（如“口味”“环境”对餐厅评分的影响）。：图像分类（突出关键像素）、文本分类（重要单词）。：分层打分（如句子中的正向/负向短语）。
2025-07-12 21:28:27
614
原创 操作系统重点复习：内存管理
内存管理核心要求包括地址转换、共享、保护及逻辑/物理组织。发展历程从单任务连续分区演进至虚拟存储系统。分区策略涉及固定/可变分区，后者采用首次/最佳适配等算法平衡碎片与效率。分页/分段技术通过页表实现小粒度管理，减少碎片。虚拟存储技术通过覆盖和交换实现部分装入，但可能引发抖动现象。地址转换依赖页表寄存器和快表加速，淘汰算法如LRU/CLOCK优化页面置换。段页式管理结合分段与分页优势，用段号、页号和偏移量实现高效内存访问。关键挑战在于平衡性能与碎片，通过多级页表、全局/局部淘汰策略
2025-07-12 11:08:24
686
原创 人工智能安全基础复习用：对抗样本检测与防御
对抗样本是对输入样本添加人眼无法察觉的细微干扰，导致模型以高置信度输出错误结果。对抗样本的分布通常偏离自然数据分布，与正常样本在模型中间层/输出层的分布存在差异。本文介绍了多种对抗样本的攻击以及防御的方法
2025-07-09 10:00:41
1087
原创 人工智能安全基础复习用：隐私保护
AI隐私保护是指在人工智能系统的数据采集、数据存储、模型训练、模型部署、模型调用过程中，采取各种技术和组织措施来保护个人数据（PII）、模型隐私（训练算法、模型拓扑结构、模型权重参数、激活函数以及超参数不被滥用、泄露或用于未经授权的目的。强调在模型训练阶段保护数据和模型隐私强调在模型推理阶段保护数据和模型隐私。
2025-07-06 09:42:17
1527
原创 MCTS（蒙特卡洛树搜索）从入门到实战
蒙特卡洛树搜索（MCTS）是一种用于决策过程中的智能搜索策略，它通过随机模拟与统计优化来找到最优动作序列。它在博弈、AI 游戏（如 AlphaGo）、规划、优化等领域中表现出色。
2025-07-02 15:45:37
800
原创 大模型学习入门——Day7: 深入理解T5模型（Encoder-Decoder）
T5 模型最核心、最具影响力的理念是 “万物皆可文本生成”（Text-to-Text）。这个思想非常简洁而强大：无论是什么 NLP 任务，都将其统一转换为“输入一段文本，输出一段文本”的格式。这种方法极大地简化了模型设计和应用流程，我们不再需要为不同任务（如分类、问答、翻译）设计不同的模型输出层。翻译 (Translation):文本分类 (Text Classification):Positive摘要 (Summarization):summarize: [一段很长的新闻文章]
2025-06-26 09:42:12
1937
原创 大模型学习入门——Day4: Encoder-Decoder
Seq2Seq，即序列到序列，是一种经典 NLP 任务。具体而言，是指模型输入的是一个自然语言序列x1x2x3...，然后输出一个序列（长度可能不等）。事实上，Seq2Seq 是 NLP 最经典的任务，几乎所有的 NLP 任务都可以视为 Seq2Seq 任务。但这一看似直观的任务背后，隐藏着怎样的技术实现？为什么 Encoder-Decoder 结构会成为 Seq2Seq 的标配设计？
2025-06-21 16:15:04
931
原创 大模型学习入门——Day3:注意力机制
即是计算本身序列中每个元素对其他元素的注意力分布，即在计算过程中，Q、K、V 都由同一个输入通过不同的参数矩阵计算得到。整个过程就是：用我的 Query (Q) 去和所有元素的 Key (K) 算一个“相关度分数”，然后根据这个分数给所有元素的 Value (V) 分配一个权重，最后把所有加权后的 Value 合并起来，就得到了一个融合了全局上下文的新表示。它不是真的删除或隐藏未来的词，而是在计算注意力权重的过程中，通过一个“掩码 (Mask)”来让未来位置的注意力权重。注意力机制就是根据一个。
2025-06-20 20:17:31
654
原创 大模型学习入门——Day2:全连接网络、卷积网络、循环网络
本系列笔记的教材：快乐学习大模型-DataWhale团队神经网络的发展始于1943年的M-P模型，历经感知机、反向传播的突破，逐渐形成三大经典架构：全连接网络（FCN）处理结构化数据，卷积网络（CNN）主导图像识别（如LeNet、ResNet），循环网络（RNN）解决时序问题（如LSTM）。尽管Transformer崛起，这些基础架构仍是深度学习的核心，广泛应用于金融、视觉、语音等领域。在本日的学习中，我们将深入探讨这三种经典架构的设计原理、数学形式及其实际应用场景。核心思想：最基础的暴力美学全连接网络，也
2025-06-20 11:03:23
647
原创 大模型学习入门——Day1:NLP基本概念
自然语言处理 Natural Language Processing (NLP) 是一门让计算机能够。
2025-06-16 22:03:27
765
原创 第六章：网络及协议安全基础——SET协议
交换证书和协议参数。（持卡人需获得商家和支付网关的证书）含有 PI （来自 PReq） 含有 H(Order)防止商户看到支付信息（PI）或银行看到订单信息（OI）。: 支持的加密算法列表（如RSA、3DES）。: 订单初步确认状态（如“待授权”）。: 后续资金捕获的令牌（替代卡号）。明文订单详情（商品、商户ID等）。: 实际结算金额（可能部分退款）。: 资金结算结果（如“已完成”）。: 持卡人数字证书（含公钥）。随机对称密钥（用于后续通信）。的签名，确保数据一致性。：提交订单和支付信息。
2025-04-28 20:04:03
1238
原创 第八章：网络及协议安全基础——CSP（电子合同签署协议）协议
在现实世界中，合同签署通常采用的方式，确保双方同时获得有效合同。但在下，如何实现公平的电子合同签署？：一方可能先收到签名，而另一方尚未发送自己的签名（：如何防止一方事后否认签署行为？：如何最小化 TTP 的参与，同时保证公平？双方要么都获得有效合同，要么都无法获得。Alice 发送签名后，Bob 拒绝发送自己的签名，导致 Alice 单方面受约束。签署者无法否认自己的签名（需提供可验证证据）。：数字签名 + 时间戳。协议必须在有限时间内完成或中止，避免无限期等待。（防止勒索或选择性披露）。
2025-04-28 19:35:11
878
原创 第四章：网络及协议安全基础——IPsec协议【认证、加密】
含有所有活跃的SA (SAs)对于接收到的数据包，IPsec 会检查数据包中的 SPI 值，找到对应的 SA，然后根据 SA 的定义对数据包进行解密和验证。对于发送的数据包，IPsec 会根据数据包的特征（如源/目标 IP 地址、TCP/UDP 端口等）选择适当的 SA。含有用户定义的策略.：每个报文的安全服务及其水平。针对每个session生成临时的会话密钥， 即便用于生成会话密钥的长期密钥丢失/泄露，也不影响会话密钥 加密和签名数据的安全性。PFS 的工作原理长期密钥(prf(key,msg))
2025-04-27 20:20:47
1511
原创 第三章：网络及协议安全基础——Kerberos协议
SSO的必要性在于它提高了用户体验，减少了多次登录的麻烦，同时也降低了密码管理的复杂性（比方说你可以用github账户登录很多旗下的网站而不用每个网站都注册一遍）。尤其是服务器对于用户的身份认证。找到了对应的密钥后，AS用对应的密钥加密（客户端与TGS之间的会话密钥【图中的TGS session Key】，时间戳，票据授予服务(TGS)的标识，TGT生存时间，和用TGS的密钥加密的TGT）AS收到用户发的消息后，首先从数据库里面找该用户的ID存不存在，如果存在，则找到对应的密钥（AS存储了user的密钥）
2025-04-26 19:21:36
1114
原创 第九章：网络及协议安全基础——基于攻击结构性方法CSP语法
具体通道comm：合法的通信通道（正常协议消息传输）。fake：攻击者伪造消息的通道（模拟恶意行为）。intercept：攻击者拦截消息的通道（模拟中间人攻击）。
2025-04-26 18:52:40
401
原创 第七章：网络及协议安全基础——PGP（Pretty Good Privacy）
4.（加密消息【数字信封】）PGP 生成会话密钥，加密签名消息. PGP 使用用户ID作为索引获取接受方的公钥. PGP 创建会话消息 ①公钥id ②加密密钥（公钥加密的Ks） ③加密的签名消息。PGP 采用 web of trust信任模型. 无集中授权机构 个体签名他人公钥，存入公钥环. PGP 计算公钥环内每个公钥的信任度. 用户解释信任水平.解密消息 : PGP 使用消息内密钥ID字段作为索引，获取私钥. PGP 提示用户输入密钥解密私钥. PGP 恢复会话密钥，解密消息.
2025-04-26 12:30:41
1212
原创 踩坑日记：OSError: [WinError 127] 找不到指定的程序。Error loading “E:\Anaconda\envs\lib\site-packages\torch\lib
记录一下今天在windows电脑上做项目遇到的神奇问题。
2025-03-06 20:31:00
5271
2
原创 动手学习机器学习第一章：机器学习概论
本系列以《动手学习机器学习》书本为基础，结合老师上课提到的内容，提炼涵盖的基础概念，穿插有意思的练习题适合复习和入门使用。
2025-03-02 21:46:37
1322
原创 label-studio数据标注平台使用指南
Label Studio 是一个开源的数据标注工具，支持多种数据类型（如文本、图像、音频、视频等）的标注工作。它提供了一个灵活且强大的界面，允许用户根据自己的需求定制标注任务。
2025-03-02 11:28:07
6671
原创 在服务器上配置多个GitHub SSH密钥和Git使用教程
背景：使用https clone仓库后，再进行 push 和 commit 每次都要输入用户名和密码非常的繁琐，使用ssh key则比较的简单。且有一些时候存在多个人使用同一个账户的情况，因此需要分开存储每个人的ssh key。
2025-03-01 19:54:16
1291
原创 Python虚拟环境的配置（conda, venv, docker）
在Python开发中，配置一个独立的虚拟环境是非常重要的。它可以帮助我们隔离依赖，避免版本冲突，并确保项目在不同机器上的一致性。和 python -m venv，并教你如何将Conda环境打包为Docker镜像。
2025-03-01 19:09:37
2748
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人