- 博客(16)
- 收藏
- 关注
RSS订阅原创 LLM相关
BERT 的输入表示是将 Token Embedding、Segment Embedding 和 Position Embedding 相加得到的，其中 [CLS] 通过多层自注意力聚合整句信息，因此可作为句子级语义表示。BERT 是一种基于 Transformer Encoder 的双向预训练语言模型，通过大规模无监督语料学习通用语言表示，再通过微调适配具体下游任务，其核心创新在于双向上下文建模和统一的预训练范式。行，这一整段你其实已经非常接近标准答案了。
2026-01-27 15:03:24
997
原创 Transformer
RNN 失败不是因为不聪明，而是因为它被时间顺序绑死了。Transformer 的成功，是把“顺序依赖”从结构里解放出来，用注意力一次性解决。
2026-01-23 13:55:27
1386
原创 simpleRL-reason项目复现（1.17）
你要确认：它会生成哪个目录、哪个 csv、哪个 json。说明：这不是追 SOTA，这是追“跑通”。做到这一步，你已经能在复试里把“流程”讲明白了。这就是你复现的证据链。
2026-01-19 21:53:49
405
原创 循环神经网络RNN
时序序列：按时间排序的数据语言：也是按顺序来的符号序列RNN：专门建模“顺序 + 记忆”a^{<t>}：记忆（隐藏状态）公式：用“上一刻记忆 + 当前输入”更新记忆，再用记忆生成输出参数共享：同一套规则处理每一步，才能泛化到不同长度可以处理任意长度输入模型参数量不随序列长度增加当前计算会考虑历史信息权重在时间维度上共享一句话省参数、能记事、适合序列。指的是：当前输出，需要依赖很久之前的输入信息。例子“我小时候住在北京，后来搬到上海，现在我最喜欢的城市是____。
2026-01-18 15:05:20
865
原创 字符串相关笔记
是从后向前遍历然后填充“number”，旧index保存原先字符串的尾部，新index保存扩充容量之后的字符串的尾部，然后从后向前遍历，如果旧index的值并非数字，那么直接将该值赋给新index指向的值，如果旧index指向的是数字，那么新index就开始给从当前开始的6个位置挨个赋值成number。给定一个字符串 s 和一个正整数 k，请编写一个函数，将字符串中的后面 k 个字符移到字符串的前面，实现字符串的右旋转操作。如果两个单词间有多余的空格，反转后的字符串需要将单词间的空格减少到仅有一个。
2026-01-16 09:51:30
1062
原创 多层感知机（MLP）
没有哪一层知道全局真相，每一层各算各的梯度，各改各的参数，这也是为什么在层数很多且参数上亿的情况下，还能算得动的原因。计算图就是把各个变量之间的计算过程显式表示出来，从而可以在图上按链式法则进行反向传播。
2026-01-13 15:15:57
242
原创 哈希表相关笔记
本文总结了9个哈希表相关算法题的解题思路和代码实现。主要内容包括：1. 字母异位词判断（242题）使用频次统计数组；2. 赎金信问题（383题）统计字符可用性；3. 异位词分组（49题）利用排序后的字符串作为哈希键；4. 滑动窗口找异位词（438题）；5. 数组交集（349题）使用unordered_set去重；6. 快乐数判断（202题）用set检测循环；7. 两数之和（1题）哈希表存储补数；8. 四数相加II（454题）分组哈希；9. 三数/四数之和（15/18题）采用双指针法并注意去重。文章详细分析了
2026-01-13 10:44:36
302
原创 softmax回归
Softmax 回归首先对每个类别使用线性函数 z=wx+b 计算得分，然后通过 Softmax 将得分转换为概率分布，接着使用交叉熵损失衡量模型对真实类别分配概率的合理性，并通过反向传播和梯度下降不断更新参数，最终使模型能够输出更准确的分类结果。Softmax 回归本质上还是线性模型，只是把一个输出变成了多个类别的概率输出。
2026-01-12 14:38:24
277
原创 链表相关学习笔记
本文总结了链表相关算法题解，主要包括：1）单链表节点定义与初始化；2）删除链表中指定元素（使用虚拟头节点简化操作）；3）链表设计实现（包含增删查操作）；4）反转链表的迭代与递归解法；5）两两交换链表节点；6）删除倒数第n个节点（双指针优化）；7）链表相交点查找（暴力解与长度对齐优化）；8）环形链表检测与入口查找（快慢指针数学推导）。重点讲解了虚拟头节点、双指针等技巧的应用，并分析了各解法的时间复杂度。
2026-01-12 10:02:53
798
原创 简单线性回归模型（1.11）
本文演示了使用PyTorch实现线性回归模型的完整过程。首先生成带有噪声的模拟数据(y=3x+2)，然后构建包含单个线性层的神经网络模型。通过定义均方误差损失函数和随机梯度下降优化器，模型经过1000次迭代训练逐步优化权重参数。训练过程中每100轮输出当前损失值，最终可视化显示原始数据点和拟合的回归直线。文章重点解释了前向传播计算预测值、反向传播计算梯度以及优化器更新参数的核心机制，阐明了通过多次迭代逐步逼近最优解的机器学习基本原理。
2026-01-11 13:44:01
404
原创 数组相关学习笔记（1.10）
⚠️这一题就是上面一个前缀和的升级版，用for循环将每一行和列的和记录下来，同时利用sum累和计算二维数组元素的和，然后分割的时候也利用for循环挨个分割，并用result保存最小的差值，注意，result的值的确定是在当前result和当前差值中选择最小的进行保存。为了确保公平竞争，你需要找到一种分配方式，使得 A 公司和 B 公司各自的子区域内的土地总价值之差最小。在一个城市区域内，被划分成了n * m个连续的区块，每个区块都拥有不同的权值，代表着其土地价值。接下来的 n 行，每行输出 m 个正整数。
2026-01-10 21:58:01
394
原创 深度学习学习笔记（1.9）
这是因为 NumPy array 在设计时就假设里面装的一定是“同类型的数字”list 本质是一个 容器，它可以存放任意类型的对象，并且元素类型不要求一致。所以也就造成了它并不适合做数值运算，因为它根本不知道自己存的是数值。list -> [指针, 指针, 指针, 指针]list 里存的不是“数”，存的是。而且它计算使用的是for循环，会很慢。
2026-01-09 23:36:07
279
原创 数组相关笔记（1.7-1.9）
首先利用右指针遍历整个数组，然后同时判断右指针指向的水果是否与已有水果的种类有重合，如果没有重合且已有的两种水果的个数都不为0，这时候就代表应当进行缩减，即修改左指针，这里有一个重点，修改左指针并不是简单的++，而是要将左指针所指向的某一类水果全部扔掉，只有这样才能减少已有水果的种类，所以这里必然是使用while。1. while 中对 mid 的赋值是 mid=l+(r-l)/2，而不是 mid=(l+r)/2，第二个写法可能在 l+r 的时候就导致溢出，而 r-l 是区间长度，不会溢出。
2026-01-09 22:31:57
1011
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人