- 博客(61)
- 收藏
- 关注
RSS订阅原创 【文献阅读】Transfer Learning For Text Classification Via Model Risk Analysis
本文是以文本分类的迁移学习任务为例，对风险分析模型的整体框架流程做梳理。
2024-10-07 23:19:18
691
原创 【文献阅读】AdaLora: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
矩阵分解为什么可以加速推理假设原始权重矩阵W∈Rm∗nW∈Rm∗n，矩阵乘法中时间复杂度为mn，变形为WBAB∈Rm∗rA∈Rr∗nWBAB∈Rm∗rA∈Rr∗n，则时间复杂度变为mr+r*n。
2024-09-05 18:40:03
968
原创 【大模型】Agent基础知识
微调（Fine-tuning）智能体模型（Agent）是一种常见的方法，用于在特定任务或特定数据集上优化预训练模型的性能。各种智能体可以结合使用。
2024-09-01 11:30:57
880
原创 【大模型】Reflextion解读
一种大模型强化学习技术，将传统的梯度更新时的参数信号替换成上下文的语言总结，过程和人类反思相似。区别与RLHF，Reflextion是agent自我反思，RLHF是人类反馈。
2024-08-31 17:24:19
479
原创 【大模型】chatglm系列模型基础
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2，GLM-130B 是亚洲唯一入选的大模型。GLM-130B 在准确性和恶意性指标上与 GPT-3 175B持平。chatglm1，2，3代在模型架构上基本一样，本文主要讲解模型结构。
2024-08-29 14:44:12
915
原创 【大模型】llama系列模型基础
llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。
2024-08-28 22:18:28
1237
1
原创 【大模型】triton inference server
triton inference server常用于大模型部署，可以采用http或GRPC调用，支持大部分的 backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用triton inference server部署大模型的简单流程示例。
2024-08-20 21:48:56
364
原创 【大模型】llama-factory基础学习
llama-factory支持json格式文件，自定义数据集中每条数据格式如下：“prompt”: “介绍一下苹果”,“response”: “苹果公司（Apple Inc.），是一家美国跨国科技公司，总部位于加利福尼亚州库比蒂诺。"demo": {demo是映射后使用的数据集别名，file_name是数据集路径，file_sha1不是必需的，但是可以缓存预处理后的数据集，避免二次训练时重新预处理，sha1的生成可以通过终端运行shasum -a 1 filename（linux命令）
2024-08-08 16:22:08
704
原创 【大模型】提示工程基础学习
即自动地为通过输出示例指定的任务生成指令：通过直接推理或基于语义相似性的递归过程生成几个候选指令，用目标模型执行它们，并根据计算出的评估分数选择最合适的指令。RAG 会接受输入并检索出一组相关/支撑的文档，并给出文档的来源（例如维基百科）。这些文档作为上下文和输入的原始提示词组合，送给文本生成器得到最终的输出。接下来是第二阶段的答案推断，它利用生成的理性信息。通过构建特定的提示语句，引导模型从已有的知识库中提取、整合并生成新的、有用的知识内容。手动添加的方式效果更好，但零样本的CoT更方便。
2024-07-09 11:27:52
575
原创 【大模型】Vllm基础学习
vllm是一个大语言模型高速推理框架，旨在提高大模型的服务效率。优势是内存管理，实现的核心是pageattetion算法。仅在gpu上加速，不在cpu加速。
2024-06-26 16:21:21
690
原创 【Linux】pycharm&git相关操作
在个人的github页面上点击【settings】->【developer settings】->【personal access tokens】-> 【tokens】->【generate new tokens】【vcs】-> 【checkout from version control】->【git】，输入http远程仓库地址，地址可以在github界面获取。pycharm界面【settings】 -> 【version control】 -> 【github】，使用github的账号密码登录。
2024-06-16 12:57:03
1286
原创 【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
adapter-based的方法通常是利用一个MLP或者一个prefix-based方法，导致模型不允许长序列的输入。不同于adapter-based的方法，LORA是针对原始模型训练的。LORA微调时，我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时，我们重新微调参数的需要。对于不同的下游任务，只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化，对于B采用0初始化。
2024-06-07 10:27:59
878
原创 【springboot开发】Gradle VS Maven
AntMavenGradlegradle使用了Groovy作为配置文件，相较于maven的pom文件更加灵活Gradle和Maven都支持并行的项目构建和依赖解析。但是gradle的三个特点让gradle可以跑的比maven快上一点：增量构建构建缓存Gradle守护进程Gradle非常灵活，并且基于脚本。自定义构建将很容易在Gradle上完成。Gradle功能更强大。但是，有时候一个中小型的项目不需要它提供的大多数功能，则Maven可能就是最佳选择。
2024-04-10 11:53:04
1380
原创 【算法学习】高级班九
思路：设置一个窗口L到R，当还欠字符时，即all不为0时，R往右扩，更新欠债表{a,b,c}，当all为0时，记录此时index=L时，字符串长度，把L往右移，更新欠债表。思路：二维双向链表。每个词频构建一个桶，桶和桶之间双向链表，相同词频的数据放一个桶，并且桶内部还是双向链表。因为从H出发都不能走完一圈，H到尾部的点的油量一定>=0,那么H尾部的点的油不够走完一圈。要求时间复杂度O(1)，则不能遍历，也不能有序表（O（logN））从A出发，发现H是良好出发点，那么往后只用看点是否能接上H的头即可。
2023-08-11 22:09:04
211
原创 【算法学习】高级班八
（1）i在from，则还在把1到i-1挪到to的步骤。（2）i在to，则在把i+1到L挪到to的状态。（3）i在other，-1，不存在。
2023-08-10 16:36:05
108
原创 【算法学习】高级班七
沿着左孩子的右分支，（10，12，16）都小于18，因此他们的左孩子一定也小于18，但20大于18，因此舍弃这个分支。由公式可以依次类推下一个数字应该去的下标，但是有可能一组数字构成一个循环，而与别的数字不相交，即依次类推这样的做法最后得到了多个环。比如（2，6）和（3，6）有重复部分，不需要重复计算，dp[2][6] = dp[2][4]+dp[3][6]补充：如何做到一个数组的两部分交换位置，空间复杂度O（1）。（3）用上面的方法调整那8个数，然后剩下的重复步骤1到3。（1）求最接近的k，k=8。
2023-08-10 10:20:05
105
原创 【算法学习】高级班六
从右上角开始往回推，发现0到7范围的答案来自1到7，说明index=10的位置等于index=0，依此类推。a. 先搞定i前面的字符，然后添一个和i一样的，即dp[i][j]=dp[i+1][j]+1。b. 先搞定j后面的字符，然后添一个和j一样的，即dp[i][j]=dp[i][j-1]+1。c. 若i=j，则dp[i][j]=dp[i+1][j-1]dp[i][j]表示i到j范围到底有多少种保留方案。画勾的可以两两配对一条船了，画叉的进一步分析。左边的叉可以两个一组，右边的只能一个一条船。
2023-08-08 19:21:25
90
原创 【算法学习】高级班五
假设没有括号，设置一个int num和一个栈，遇到数字置num，遇到符号，把num和符号一起压栈，num清空。可以发现，如果没有缓存，（6，6）和（7，6）都需要多次计算。9=576，把576和下一个+一起压栈。或\时，栈中弹出两个元素做乘除，然后再压栈。如num=9且遇到+时，栈顶是。
2023-08-08 15:54:40
58
原创 【算法学习】高级班4
解题思路：拿的时候让异或和变为0，那么下一个人不管怎么拿异或和都不是0，先手每次都可以让异或和重新为0。即谁先导致异或和=0出现，谁就会一直赢。将每个位置数组替换表达：如（2，5，6）变成（2，add, 6）和（5，del，6）使用两个有序表map1（统计最大高度和出现次数），map2（统计坐标位置和最大高度）最后map2中的就是轮廓线。
2023-08-06 11:15:08
55
原创 【算法学习】高级班1
当kth<s时，第k大的数只可能出现在短数组或长数组的前k个数里面，因此求前k个数的上中位数就行了。求上中位数的方法是通过确定两个数组的中位数进行优化的。对于i位置，最优划分意味着一定是离i最近的能实现xor等于0的位置进行划分，假设划分k到i，若k不是最近的，中间还存在一个L，那么k到L和L到i可以形成两个划分。shorts[kth-l - 1]>=longs[l-1]代表longs中的所有数字在shorts可能是第k大的数字前面。k<短的数组长度时，答案位于两个数组的前k个数字中。
2023-08-06 09:58:28
56
原创 【算法学习】中级班8
贪心：对于任意.位置，如果i+1是x，则i位置放灯，若i+1是.则放i+1位置。使用hash表记录中序数组中每个数字的位置，不再需要遍历找find数字。4. 最长递增子序列问题。法二：O（logN）
2023-08-02 11:30:27
67
原创 【算法学习】中级班六
解释：组成三角形要求x+y<=z，即最大的边长度大于等于其他两条边，对于任意i位置，只要i-2和i-1位置相加不大于i位置，则前面也肯定不大于，因此只要使f(i)=f(i-1)+f(i-2)事实上就是斐波那契数列，设F（i）表示长度为i时的达标字符串数，由定义知道，i位置的数字只能是1，则F(i) = F(i-1)+F(i-2)有序表：先按难度由小到大排，难度一样按照报酬由大到小。即求木棍中斐波那契数有哪些，就是可以保留的木棍。
2023-08-01 13:40:54
60
原创 【算法学习】中级班五
6. 咖啡杯问题：arr代表冲咖啡的几台机器分别需要的时间，N代表喝咖啡的人数，a和b分别代表洗咖啡杯的时间和自然挥发干净的时间（要么一个个洗干净，要么自然变干净，前者只能串行后者可以并行）。当全局的max在左边时，右边最大值一定>=arr[N-1]，那么max|max左-max右|是划分在arr[N-1]处；设计一个小根堆，里面的每一个元素是一个二维的：（咖啡机空闲时间，咖啡机泡咖啡的时间），按照二维数字和组织小根堆。p2表示如果当前被子直接晾干，完成所有杯子清洗所需的时间。2的倍数但不是4的倍数b个；
2023-07-27 21:09:45
68
原创 【算法学习】中级班四
boolean f是控制斜线的打印方向，从右上往左下（true），还是反过来(false)。定义A和B两个点，A一直往右走，B一直往下走（走到头就往右走），若压在一条斜线就打印。假设[100,0,0,0]，节点的结果是[75,75,50,25]每次确定左上和右下两个点，打印完一圈，这两个点向内移动。a和b是左上角的行列，c和d是右下角的行列。取所有节点结果的最大值。
2023-07-25 20:43:07
92
原创 【算法学习】中级班二
分析发现，只有两个集合平均值不相等，从大的往小的拿才可能导致两个平均值变大，应该拿介于两个集合平均值之间的数据。为了使次数最多，应该每次把两个平均值之间的数排序，拿最小的那个。F（i）*F（N-i-1），i从0到N-1。代表左右两棵树的方法数乘积。
2023-07-25 15:19:59
55
原创 【算法学习】中级班三
如果此时i位置是右括号，i-1位置值是p，往前推，若i-p-1位置是左括号，则i位置应该是i-1位置的值+2+（i-p-2）位置的值；若i-p-1是右括号，则为0。设置count，左括号+1，右括号-1，count达到的最大值就是深度。先看第二列，由于5小于7，则5左边的数一定不等于7，同理排除6。相当于求每个括号所在位置为右边界（左边界）的最长有效括号子串。假设找7，从右往左看第一行，确认前两列的最小值都小于7。2. 给你一个括号字符串，找到最长的有效括号子串。左括号所在位置一定是0。
2023-07-25 10:46:15
56
原创 【算法学习】中级班题目训练一
题意：变成左侧全是R，右侧无R使用两个数组分别记录arr[0…L]上的R数和arr[L…可以肯定的是奇数个肯定不能装下。
2023-07-22 19:48:35
67
原创 【算法学习】暴力递归和动态规划
马（马走日）从（0，0）到（x,y）位置，必须走k步，棋盘大小是9X10，返回方法数。给一个整数数组，代表零钱，给一个int，零钱凑成int，最少需要几个零钱。一个数组，两个人依次拿牌，可以拿头或尾，求最大分值。给定棋盘，可以上下左右走，越界则死亡，求生存概率。所有step层的数都只和step-1层相关。变化的参数有三个： x, y, step。每个格子的值等于左上角+右上角的值。如果不求最少，有多少种方法。
2023-07-19 15:40:43
78
原创 【算法学习】大数据题目和位运算
10MB约等于3kb，定义一个int[]数组，数组每一个元素占4字节，3kb/4字节，相当于每个4字节占用差不多512空间，即需要512个int，现在相当于把2^32分到512空间（512个int），即每个int分到8388608（int[]是用来做词频统计的，对于每一个数字，除以8388608可以分到int[]中不同位置，即对应位置词频++，40亿个数字分完后，一定有一个区间不够8388608。一个10G文件，存储的无符号int，现在变成一个新文件，有序且只有5G内存，怎么实现。
2023-07-15 18:06:15
68
原创 【算法学习】滑动窗口、单调栈结构等
维护一个单调栈，依次添加元素进去，当遇到一个数字添加会违反单调性，弹出，弹出的数字就可以得到理他最近的左边（他下面的数字）和右边的最大值（让他违反单调性的数字）对于一个数组，求对于每个数字，左边离他最近的比他大的，右边最近的比他大的。思路： 求以每个数为最小值，向两边扩的最长数组。
2023-07-13 09:44:10
58
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人