自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(61)
  • 收藏
  • 关注

原创 【文献阅读】Transfer Learning For Text Classification Via Model Risk Analysis

本文是以文本分类的迁移学习任务为例,对风险分析模型的整体框架流程做梳理。

2024-10-07 23:19:18 705

原创 【Linux服务器】git和github交互使用

有时候pycharm连接不上github,还是得命令行操作。

2024-09-27 10:29:54 933

原创 【文献阅读】AdaLora: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

矩阵分解为什么可以加速推理假设原始权重矩阵W∈Rm∗nW∈Rm∗n,矩阵乘法中时间复杂度为mn,变形为WBAB∈Rm∗rA∈Rr∗nWBAB∈Rm∗rA∈Rr∗n,则时间复杂度变为mr+r*n。

2024-09-05 18:40:03 989

原创 【文献阅读】VAE:Variational Autoencoder

生成模型。

2024-09-04 16:48:11 545

原创 【大模型】Agent基础知识

微调(Fine-tuning)智能体模型(Agent)是一种常见的方法,用于在特定任务或特定数据集上优化预训练模型的性能。各种智能体可以结合使用。

2024-09-01 11:30:57 901

原创 【大模型】Reflextion解读

一种大模型强化学习技术,将传统的梯度更新时的参数信号替换成上下文的语言总结,过程和人类反思相似。区别与RLHF,Reflextion是agent自我反思,RLHF是人类反馈。

2024-08-31 17:24:19 556

原创 【大模型】LangChain基础学习

LangChain是一个用于构建端到端语言模型应用的框架。

2024-08-31 16:51:30 1008

原创 【大模型】GPT系列模型基础

GPT整体上与transformer结构相似,但只用了decoder部分。

2024-08-29 20:00:37 1141 1

原创 【大模型】chatglm系列模型基础

2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2,GLM-130B 是亚洲唯一入选的大模型。GLM-130B 在准确性和恶意性指标上与 GPT-3 175B持平。chatglm1,2,3代在模型架构上基本一样,本文主要讲解模型结构。

2024-08-29 14:44:12 971

原创 【大模型】llama系列模型基础

llama基于transformer架构,与GPT相似,只用了transformer的解码器部分。本文主要是关于llama,llama2和llama3的结构解读。

2024-08-28 22:18:28 1357 1

原创 【大模型】triton inference server

triton inference server常用于大模型部署,可以采用http或GRPC调用,支持大部分的 backend,单GPU、多GPU都可以支持,CPU也支持。本文主要是使用triton inference server部署大模型的简单流程示例。

2024-08-20 21:48:56 418

原创 【大模型】llama-factory基础学习

llama-factory支持json格式文件,自定义数据集中每条数据格式如下:“prompt”: “介绍一下苹果”,“response”: “苹果公司(Apple Inc.),是一家美国跨国科技公司,总部位于加利福尼亚州库比蒂诺。"demo": {demo是映射后使用的数据集别名,file_name是数据集路径,file_sha1不是必需的,但是可以缓存预处理后的数据集,避免二次训练时重新预处理,sha1的生成可以通过终端运行shasum -a 1 filename(linux命令)

2024-08-08 16:22:08 787

原创 【大模型】提示工程基础学习

即自动地为通过输出示例指定的任务生成指令:通过直接推理或基于语义相似性的递归过程生成几个候选指令,用目标模型执行它们,并根据计算出的评估分数选择最合适的指令。RAG 会接受输入并检索出一组相关/支撑的文档,并给出文档的来源(例如维基百科)。这些文档作为上下文和输入的原始提示词组合,送给文本生成器得到最终的输出。接下来是第二阶段的答案推断,它利用生成的理性信息。通过构建特定的提示语句,引导模型从已有的知识库中提取、整合并生成新的、有用的知识内容。手动添加的方式效果更好,但零样本的CoT更方便。

2024-07-09 11:27:52 576

原创 【大模型】Vllm基础学习

vllm是一个大语言模型高速推理框架,旨在提高大模型的服务效率。优势是内存管理,实现的核心是pageattetion算法。仅在gpu上加速,不在cpu加速。

2024-06-26 16:21:21 801

原创 【Linux】pycharm&git相关操作

在个人的github页面上点击【settings】->【developer settings】->【personal access tokens】-> 【tokens】->【generate new tokens】【vcs】-> 【checkout from version control】->【git】,输入http远程仓库地址,地址可以在github界面获取。pycharm界面【settings】 -> 【version control】 -> 【github】,使用github的账号密码登录。

2024-06-16 12:57:03 1310

原创 【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

adapter-based的方法通常是利用一个MLP或者一个prefix-based方法,导致模型不允许长序列的输入。不同于adapter-based的方法,LORA是针对原始模型训练的。LORA微调时,我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时,我们重新微调参数的需要。对于不同的下游任务,只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化,对于B采用0初始化。

2024-06-07 10:27:59 899

原创 【大数据与云计算】虚拟机安装Linux

使用Linux系统对大数据学习必不可少,本文主要介绍虚拟机安装linux的流程。

2024-04-13 23:36:35 1006

原创 【springboot开发】Gradle VS Maven

AntMavenGradlegradle使用了Groovy作为配置文件,相较于maven的pom文件更加灵活Gradle和Maven都支持并行的项目构建和依赖解析。但是gradle的三个特点让gradle可以跑的比maven快上一点:增量构建构建缓存Gradle守护进程Gradle非常灵活,并且基于脚本。自定义构建将很容易在Gradle上完成。Gradle功能更强大。但是,有时候一个中小型的项目不需要它提供的大多数功能,则Maven可能就是最佳选择。

2024-04-10 11:53:04 1456

原创 【springboot开发】PO、DTO等对象的基本概念

java是面向对象的,java开发中由于多层开发结构,涉及到各种类别的实体类。

2024-04-10 09:52:51 334

原创 【springboot开发】MVC和SSM

关于MVC和SSM基本内容的梳理,以及两者之间的关系。

2024-04-10 00:10:40 1180

原创 【Springboot开发】后端代码基础框架

主要介绍最基础的springboot开发架构。

2024-04-09 23:50:06 1142

原创 【算法学习】高级班九

思路:设置一个窗口L到R,当还欠字符时,即all不为0时,R往右扩,更新欠债表{a,b,c},当all为0时,记录此时index=L时,字符串长度,把L往右移,更新欠债表。思路:二维双向链表。每个词频构建一个桶,桶和桶之间双向链表,相同词频的数据放一个桶,并且桶内部还是双向链表。因为从H出发都不能走完一圈,H到尾部的点的油量一定>=0,那么H尾部的点的油不够走完一圈。要求时间复杂度O(1),则不能遍历,也不能有序表(O(logN))从A出发,发现H是良好出发点,那么往后只用看点是否能接上H的头即可。

2023-08-11 22:09:04 212

原创 【算法学习】高级班八

(1)i在from,则还在把1到i-1挪到to的步骤。(2)i在to,则在把i+1到L挪到to的状态。(3)i在other,-1,不存在。

2023-08-10 16:36:05 108

原创 【算法学习】高级班七

沿着左孩子的右分支,(10,12,16)都小于18,因此他们的左孩子一定也小于18,但20大于18,因此舍弃这个分支。由公式可以依次类推下一个数字应该去的下标,但是有可能一组数字构成一个循环,而与别的数字不相交,即依次类推这样的做法最后得到了多个环。比如(2,6)和(3,6)有重复部分,不需要重复计算,dp[2][6] = dp[2][4]+dp[3][6]补充:如何做到一个数组的两部分交换位置,空间复杂度O(1)。(3)用上面的方法调整那8个数,然后剩下的重复步骤1到3。(1)求最接近的k,k=8。

2023-08-10 10:20:05 111

原创 【算法学习】高级班六

从右上角开始往回推,发现0到7范围的答案来自1到7,说明index=10的位置等于index=0,依此类推。a. 先搞定i前面的字符,然后添一个和i一样的,即dp[i][j]=dp[i+1][j]+1。b. 先搞定j后面的字符,然后添一个和j一样的,即dp[i][j]=dp[i][j-1]+1。c. 若i=j,则dp[i][j]=dp[i+1][j-1]dp[i][j]表示i到j范围到底有多少种保留方案。画勾的可以两两配对一条船了,画叉的进一步分析。左边的叉可以两个一组,右边的只能一个一条船。

2023-08-08 19:21:25 90

原创 【算法学习】高级班五

假设没有括号,设置一个int num和一个栈,遇到数字置num,遇到符号,把num和符号一起压栈,num清空。可以发现,如果没有缓存,(6,6)和(7,6)都需要多次计算。9=576,把576和下一个+一起压栈。或\时,栈中弹出两个元素做乘除,然后再压栈。如num=9且遇到+时,栈顶是。

2023-08-08 15:54:40 58

原创 【算法学习】高级班4

解题思路:拿的时候让异或和变为0,那么下一个人不管怎么拿异或和都不是0,先手每次都可以让异或和重新为0。即谁先导致异或和=0出现,谁就会一直赢。将每个位置数组替换表达:如(2,5,6)变成(2,add, 6)和(5,del,6)使用两个有序表map1(统计最大高度和出现次数),map2(统计坐标位置和最大高度)最后map2中的就是轮廓线。

2023-08-06 11:15:08 55

原创 【算法学习】高级班1

当kth<s时,第k大的数只可能出现在短数组或长数组的前k个数里面,因此求前k个数的上中位数就行了。求上中位数的方法是通过确定两个数组的中位数进行优化的。对于i位置,最优划分意味着一定是离i最近的能实现xor等于0的位置进行划分,假设划分k到i,若k不是最近的,中间还存在一个L,那么k到L和L到i可以形成两个划分。shorts[kth-l - 1]>=longs[l-1]代表longs中的所有数字在shorts可能是第k大的数字前面。k<短的数组长度时,答案位于两个数组的前k个数字中。

2023-08-06 09:58:28 57

原创 【算法学习】中级班9

设一个二维dq数组,dp[i][j]表示str1[0…i]编辑成str[0…去掉天数增加,钱没有增加的。

2023-08-02 18:33:37 65

原创 【算法学习】中级班8

贪心:对于任意.位置,如果i+1是x,则i位置放灯,若i+1是.则放i+1位置。使用hash表记录中序数组中每个数字的位置,不再需要遍历找find数字。4. 最长递增子序列问题。法二:O(logN)

2023-08-02 11:30:27 69

原创 【算法学习】中级班六

解释:组成三角形要求x+y<=z,即最大的边长度大于等于其他两条边,对于任意i位置,只要i-2和i-1位置相加不大于i位置,则前面也肯定不大于,因此只要使f(i)=f(i-1)+f(i-2)事实上就是斐波那契数列,设F(i)表示长度为i时的达标字符串数,由定义知道,i位置的数字只能是1,则F(i) = F(i-1)+F(i-2)有序表:先按难度由小到大排,难度一样按照报酬由大到小。即求木棍中斐波那契数有哪些,就是可以保留的木棍。

2023-08-01 13:40:54 61

原创 【算法学习】中级班五

6. 咖啡杯问题:arr代表冲咖啡的几台机器分别需要的时间,N代表喝咖啡的人数,a和b分别代表洗咖啡杯的时间和自然挥发干净的时间(要么一个个洗干净,要么自然变干净,前者只能串行后者可以并行)。当全局的max在左边时,右边最大值一定>=arr[N-1],那么max|max左-max右|是划分在arr[N-1]处;设计一个小根堆,里面的每一个元素是一个二维的:(咖啡机空闲时间,咖啡机泡咖啡的时间),按照二维数字和组织小根堆。p2表示如果当前被子直接晾干,完成所有杯子清洗所需的时间。2的倍数但不是4的倍数b个;

2023-07-27 21:09:45 69

原创 【算法学习】中级班四

boolean f是控制斜线的打印方向,从右上往左下(true),还是反过来(false)。定义A和B两个点,A一直往右走,B一直往下走(走到头就往右走),若压在一条斜线就打印。假设[100,0,0,0],节点的结果是[75,75,50,25]每次确定左上和右下两个点,打印完一圈,这两个点向内移动。a和b是左上角的行列,c和d是右下角的行列。取所有节点结果的最大值。

2023-07-25 20:43:07 95

原创 【算法学习】中级班二

分析发现,只有两个集合平均值不相等,从大的往小的拿才可能导致两个平均值变大,应该拿介于两个集合平均值之间的数据。为了使次数最多,应该每次把两个平均值之间的数排序,拿最小的那个。F(i)*F(N-i-1),i从0到N-1。代表左右两棵树的方法数乘积。

2023-07-25 15:19:59 56

原创 【算法学习】中级班三

如果此时i位置是右括号,i-1位置值是p,往前推,若i-p-1位置是左括号,则i位置应该是i-1位置的值+2+(i-p-2)位置的值;若i-p-1是右括号,则为0。设置count,左括号+1,右括号-1,count达到的最大值就是深度。先看第二列,由于5小于7,则5左边的数一定不等于7,同理排除6。相当于求每个括号所在位置为右边界(左边界)的最长有效括号子串。假设找7,从右往左看第一行,确认前两列的最小值都小于7。2. 给你一个括号字符串,找到最长的有效括号子串。左括号所在位置一定是0。

2023-07-25 10:46:15 59

原创 【算法学习】中级班题目训练一

题意:变成左侧全是R,右侧无R使用两个数组分别记录arr[0…L]上的R数和arr[L…可以肯定的是奇数个肯定不能装下。

2023-07-22 19:48:35 74

原创 【算法学习】暴力递归和动态规划

马(马走日)从(0,0)到(x,y)位置,必须走k步,棋盘大小是9X10,返回方法数。给一个整数数组,代表零钱,给一个int,零钱凑成int,最少需要几个零钱。一个数组,两个人依次拿牌,可以拿头或尾,求最大分值。给定棋盘,可以上下左右走,越界则死亡,求生存概率。所有step层的数都只和step-1层相关。变化的参数有三个: x, y, step。每个格子的值等于左上角+右上角的值。如果不求最少,有多少种方法。

2023-07-19 15:40:43 82

原创 【算法学习】大数据题目和位运算

10MB约等于3kb,定义一个int[]数组,数组每一个元素占4字节,3kb/4字节,相当于每个4字节占用差不多512空间,即需要512个int,现在相当于把2^32分到512空间(512个int),即每个int分到8388608(int[]是用来做词频统计的,对于每一个数字,除以8388608可以分到int[]中不同位置,即对应位置词频++,40亿个数字分完后,一定有一个区间不够8388608。一个10G文件,存储的无符号int,现在变成一个新文件,有序且只有5G内存,怎么实现。

2023-07-15 18:06:15 71

原创 【算法学习】二叉树的Morris遍历等

判读一棵树是不是搜索二叉树:中序遍历是升序则是搜索二叉树。

2023-07-13 11:16:31 61

原创 【算法学习】滑动窗口、单调栈结构等

维护一个单调栈,依次添加元素进去,当遇到一个数字添加会违反单调性,弹出,弹出的数字就可以得到理他最近的左边(他下面的数字)和右边的最大值(让他违反单调性的数字)对于一个数组,求对于每个数字,左边离他最近的比他大的,右边最近的比他大的。思路: 求以每个数为最小值,向两边扩的最长数组。

2023-07-13 09:44:10 61

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除