aJupyter-CSDN博客

转载 Knowledge Distillation——知识蒸馏

知识蒸馏简单讲即使用大规模参数的模型对小规模参数模型进行蒸馏，且不是简单的只使用答案，是需要两个模型的log prob进行交互的，故两个模型的vocab size必须是一样的。参考论文中分类了多个不同的版本，on-policy及off-policy。TRL GKD代码基于trl实现的GKDTrainer，GKDTrainer继承自SFTTrainer，SFTTrainer继承自Trainer。所以下面我们先简单的介绍一下Trainer和SFTTrainer。

2025-03-09 00:37:46 60

原创 215. 数组中的第K个最大元素

Problem: 215. 数组中的第K个最大元素文章目录思路解题过程复杂度Code思路快排的变形-》快速选择解题过程根据快排（排序默认从小到大）的性质，每次递归后pivot将数组划分为两个区间，左区间所有的元素<=pivot，右区间所有元素>=pivot，此时右区间所有元素均>左区间。如果此时k<=len(左区间)，那么第k小的数从左区间找即可，直接递归左区间[l, j]，否则递归右区间[j+1, r]。题目要求的是第k大的数，所以需要满足左区间所有元素>

2024-11-01 21:43:36 485 1

原创 18. 重建二叉树

返回：[3, 9, 20, null, null, 15, 7, null, null, null, null]输入一棵二叉树前序遍历和中序遍历的结果，请重建该二叉树。前序遍历是：[3, 9, 20, 15, 7]中序遍历是：[9, 3, 15, 20, 7]输入的前序遍历和中序遍历一定合法；树中节点数量范围 [0,100]。二叉树中每个节点的值都互不相同；二叉树的确立，使用dfs解决。

2024-10-31 21:16:04 304

原创 17. 从尾到头打印链表

输入一个链表的头结点，按照从尾到头的顺序返回节点的值。直接遍历链表，然后倒序输出结果数组即可。数据范围0≤链表长度 ≤1000。输入：[2, 3, 5]返回：[5, 3, 2]返回的结果用数组存储。

2024-10-31 20:36:13 287

原创 16. 替换空格

请实现一个函数，把字符串中的每个空格替换成"%20"。直接模拟，python string类具有天生优势。输出：“We%20are%20happy.”数据范围0≤输入字符串的长度 ≤1000。注意输出字符串的长度可能大于 1000。输入：“We are happy.”

2024-10-31 20:32:46 414

原创 15. 二维数组中的查找

在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。利用性质：每一行从左到右递增，每一列从上到下递增，那么可以用右上角的元素来比较target。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。由于每次移动一行或者一列，最多移动m+n次，m和n分别代表列数和行数，当右上角>target，则往左移动，利用的是行的性质。当右上角

2024-10-31 20:21:56 217

原创 14. 不修改数组找出重复的数字

给定 nums = [2, 3, 5, 4, 3, 2, 6, 7]。的数组nums，数组中所有的数均在 1∼n的范围内，其中 n≥1。思考题：如果只能使用 O(1)的额外空间，该怎么做呢？请找出数组中任意一个重复的数，但不能修改输入的数组。给定一个长度为 n+1。

2024-10-31 20:09:32 546

原创 13. 找出数组中重复的数字

数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。给定 nums = [2, 3, 5, 4, 3, 2, 6, 7]。的整数数组 nums，数组中所有的数字都在 0∼n−1。的范围内，或数组中不包含重复数字，则返回 -1；注意：如果某些数字不在 0∼n−1。请找出数组中任意一个重复的数字。

2024-10-31 19:37:56 567

转载配置了ssh公钥但是不能免密

为什么要使用几个权限并不太清楚，虽然只要不给其他用户和用户组可写的权限都可以正常使用免密登录，但是尽量还是按照这几个文件及文件夹默认的权限去设置。文件内加入自己的公钥, 按理说下次在有该公钥的机器登录服务器时可以免密登录。但在一台服务器上遇到无法免密登录的情况。更改文件夹和文件为合适的权限后即可实现免密登录。文件夹内的文件权限不对。造成这个问题的原因是。

2024-10-25 20:29:39 182

原创 FlashRAG_ A Modular Toolkit for Efficient Retrieval-Augmented Generation Research

FlashRAG, an open-source library designed to enable researchers to easily reproduce existing RAG methods and develop their own RAG algorithms.The Component Module encompasses five main components: Judger, Retriever,Reranker, Refiner, and Generator.Methods

2024-09-05 17:15:22 514

原创 git查找当前存在冲突的文件

【代码】git查找当前存在冲突的文件。

2024-08-26 22:21:38 199 1

原创 AttributeError: ‘DeepSpeedCPUAdam‘ object has no attribute ‘ds_opt_adam‘

第1001篇博客，记录一个bug吧。

2024-08-06 23:17:00 225

原创六、Accelerate + Deepspeed

B站UP：你可是处女座啊https://huggingface.co/docs/accelerate/usage_guides/deepspeed运行https://huggingface.co/docs/accelerate/usage_guides/deepspeed#deepspeed-config-filezero_stage2_config.json运行mixed_precision: bf16 需要注释掉，否则报错运行

2024-07-16 19:24:26 1149

原创 git中commit了过大的文件的解决办法

https://blog.csdn.net/mlgbhz/article/details/123050146https://www.cnblogs.com/goloving/p/15017769.html

2024-06-24 23:41:00 299

原创从零实现GPT【1】——BPE

BPE，字节对编码。

2024-06-22 23:17:21 767

原创一、大模型推理

【代码】一、大模型推理。

2024-05-31 11:55:45 667

原创大模型实战-动手实现单agent

agent 的核心思想：不断调用 LLM（多轮对话），让 LLM 按照指定的格式（例如 json）进行回复，提取 LLM 回复的字段信息执行相应的 action（工具），并把 LLM 每次执行的结果（observation）加入到 LLM 的对话历史中拼接到 prompt 里，作为新一轮的输入。在工具中预设 finsh 工具，告诉模型应该什么时候停止，并获取答案。

2024-05-28 17:33:23 1076

原创 VSCode Debug常用配置

【代码】VSCode Debug常用配置。

2024-05-23 17:23:39 452

原创 234. 回文链表

时间复杂度: O(n)O(n)O(n) 遍历一遍链表和元素列表空间复杂度: O(n)O(n)O(n) 元素列表

2024-05-18 21:47:09 435

原创 Git拉取pull request到本地命令

其中，PRId 为该 Pull Request 的序号，LocalBranchName为拉取到本地后的分支名称。

2024-05-17 18:49:57 454

原创 92. 反转链表 II

遍历到left前一个结点，反转[left, right]这一段区间当区间反转完毕后，p0（反转区间left的前一个结点，因为当left是head结点的时候，并无前一个结点，避免这种情况需要加一个虚结点）需要做相应的处理上图用于解释复杂度时间复杂度: O(n)O(n)O(n) 区间长度空间复杂度: O(1)O(1)O(1) 若干中间变量

2024-05-13 21:40:21 510

原创 206. 反转链表

两个指针 pre代表要指向的节点 cur代表当前的节点初始化pre=None，cur为head节点遍历链表的节点反复执行cur节点指向prepre指向curcur移动到下一个节点时间复杂度: O(n)O(n)O(n) 遍历一次链表空间复杂度: O(1)O(1)O(1) 若干中间变量递归https://leetcode.cn/problems/reverse-linked-list/solutions/2361282/206-fan-zhuan-lian-biao-shuang-zhi-zhen

2024-05-09 11:19:21 526

原创 82. 删除排序链表中的重复元素 II

这题最大的特点就是要删除所有重复的元素因为涉及到头节点是重复元素的情况，所以需要设置一个虚拟的头结点dummy利用cur代表当前位置的指针复杂度时间复杂度: O(n)O(n)O(n)空间复杂度: O(1)O(1)O(1)

2024-05-06 22:41:14 292

原创 102. 二叉树的层序遍历

时间复杂度: O(n)O(n)O(n) n个节点空间复杂度: O(n)O(n)O(n) 列表和队列

2024-05-05 15:48:18 376 1

原创 958. 二叉树的完全性检验

特点：对于一个完全二叉树，利用【层序遍历】进行宽度优先搜索，遇到第一个空节点遍历就结束了，后续遍历不会出现下一个非空节点可以利用该特点，判断遇到第一个空节点后还会不会遇到下一个非空节点如果能够遇到下一个空节点，则不是完全二叉树否则，是完全二叉树时间复杂度: O(n)O(n)O(n) n代表节点个数空间复杂度: O(n)O(n)O(n) 队列

2024-05-05 15:29:15 652

原创 83. 删除排序链表中的重复元素

时间复杂度: O(n)O(n)O(n) 遍历一遍链表空间复杂度: O(1)O(1)O(1) cur中间变量

2024-05-04 19:51:33 496

原创 718. 最长重复子数组

时间复杂度O(n∗m∗min(m,n))O(n*m*min(m, n))O(n∗m∗min(m,n)) n，m分别代表两个数组的长度空间复杂度O(1)O(1)O(1)滑动窗口暴力的问题是找到两个数组相等的位置需要花费大量的时间，这里面有重叠滑动窗口：将两个数组视为两把尺子，固定nums1，nums2的尾部与nums1的头部对齐，移动nums2直到nums2的头部与nums1的尾部对齐，每次滑动只需要计算两个数组重叠部分的子数组的最大公共数组长度即可。时间复杂度O(n+m)∗min(m,n))O(

2024-05-03 16:15:52 907

原创 76. 最小覆盖子串

注：这里用Counter()的比较大小来判断cnt_s是否覆盖cnt_t时间复杂度: O(Σm+n)O(Σm+n)O(Σm+n) 每个元素最多被遍历两次O(m)O(m)O(m)，每次比较是O(Σ)O(Σ)O(Σ)，这里ΣΣΣ代表字符串s元素的种类（本题最多为52）空间复杂度: O(n)O(n)O(n) 哈希表记录个数优化上述代码判断s的子串是否覆盖t，需要O(Σ)的时间复杂度，可以优化成O(1)思路：用less代表s的子串没有覆盖t的字母的种类，扩大窗口（通过移动r）减小res，当less为0的时候，

2024-05-02 19:15:06 953 1

Postman.exe

rabbitmq-server-3.9.5.exe

CUMCM.exe

083964-夏敏捷-Python课程设计——代码(全部).zip

Python 基础语法.pdf

空空如也