- 博客(20)
- 收藏
- 关注
RSS订阅原创 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
从 Prompt 设计来看应该能解决通用任务，但没有在一些常见的RAG评测框架（RAGAS、SuperCLUE-RAG）上进行验证。也没有和其他改进版的 RAG 进行对比，对于 RAG 中最重要的 Retrieval 环节也仅仅测试了不同检索数量，没有尝试不同的索引办法和更多的向量化模型，不知道引入反思和讨论模块是否对 RAT 有进一步帮助。好处是实现比较简单，在不涉及任何模型训练的情况下，仅依赖于基础LLM的思维链推理和上下文学习能力获得效果的提升，比较方便融合进现有的 RAG 框架尝试效果。
2024-04-23 10:15:29
738
1
原创 Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
整个训练和推理过程都不算复杂，借助了 LLM 本身的能力对外挂的知识库进行评估和反思，数据的准备也不算困难，有不错的借鉴意义，可以考虑内嵌进一些常见的 RAG 框架进行尝试。这种分阶段的训练和 PPO 类似，应该比较考验 Critic 模型的能力，可能有一些训练的坑需要发掘。比较注重推理的质量，没有考虑推理的时间成本，单个请求可能需要多次检索知识库。并行生成结果时看不到其他召回结果，也可能导致回答不全面，反而降低质量。期待后续的优化。
2024-01-12 16:47:02
1095
原创 个人环境常用命令
https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/ 下载安装包 bin.tar.gz。根据cuda版本修改后缀 cu113/117/121。官网下载：https://pytorch.org/创建 激活 删除环境。
2023-12-14 19:25:26
1128
1
原创 FlashDecoding++
通篇介绍的三种方法并没有对整个推理过程做大的改动，更像是针对 llama-7B 做了特殊的代码优化，并且都存在使用条件，参数的设置都需要大量实验来确定，引入了不少选择和判断。本文选择将这个数值调整到 8，同时为了解决内存访问的问题，增加了 Double Buffering ，将共享的内存分成两个 buffer ，一个用于当前的 GEMM 计算，另一个加载下一次 GEMM 需要的数据。LLM推理中一个常用的优化技巧是 KV Cache，通过在计算时缓存 KV 的结果，来节约大部分的运算时间；
2023-11-14 17:32:23
690
3
原创 异构图神经网络 RGCN、RGAT、HAN、GNN-FILM + PyG实现
RGCN、RGAT、GNN-FILM代码替换十分简单，训练代码完全不用动，只要改模型代码即可，完全可以三者都尝试效果，HAN慎用，效果太吃matapath的设置，训练时间还长，不值得。
2022-08-11 17:27:21
12179
45
原创 Gan初探(二)序列生成 Mad-Gan、Seq-Gan实验
背景将用户行为转化为序列数据后，需要做部分种类的样本做数据增强。介绍Mad-Gan：使用Gan完成异常检测。生成器与判别器都换成了lstm，其他和SGan没有任何区别。从随机向量生成序列。优点：将生成器加入到异常判别的队伍中，通过构造随机向量的方法得到重构目标样本的损失，加权和判别网络得到的分数求和，卡个阈值判断异常点缺点：生成器其实无法生成高质量的序列样本，个人认为它没有解决序列生成的几个问题。序列生成存在的问题:(1)离散数据很难使用梯度更新 (2)判别器很难对不完整序列判断真假Se
2021-08-27 11:36:22
1577
原创 Gan初探(一) 图像相关应用 SGan、Wgan、Wgan-gp、Cgan、LapGan、PGGan、StyleGan
背景实习生期间被要求做Gan相关的调研，最后要解决一个序列生成的问题，记录一下过程。介绍Gan最初的基本思想是存在两个网络，一个生成网络generator，一个判别网络discriminator。生成网络输入为我们随机的向量，输出为任何我们想要的有意义的东西，比如图片。判别网络输入为我们需要判别的事物，输出一个数值代表这个事物的质量，也就是真假。准备好一些真实的数据即可开始训练网络。每次迭代过程，先固定生成网络，将生成网络的输出和真实数据混在一起给判别网络训练，label分别打上0和1；再固定判
2021-08-02 17:54:58
1508
原创 win10 Anaconda+tensorflow/pytorch 安装
Anaconda安装官网下载：https://www.anaconda.com/一路next安装完成后不要忘记在环境变量中添加：下载路径\Scripts
2021-02-16 21:44:11
4159
2
原创 2020 ICPC 上海站
2020 ICPC 上海 新队伍第一次参加ICPC，就遇到600多支队伍的大场，还不按队伍比例发牌，属实不讲武德。由于新队友去年在上海站打铁，所以比赛前讨论过是否要参加上海站，最后还是决定试一试。热身赛：状态不佳，感觉把队友给演了，A题是一道简单的找规律题，打表或者硬算都能发现的简单规律，愣是没发现。快要结束才被队友AC，有点羞愧。B题和C题也是我写的，B题没有注意n=1和m=1情况，还读错了题，同时C题被卡精度，赛后调整了一下就过了。结果就是热身赛只有一题，rank189，差点打铁。直观的感觉其他队
2020-12-15 13:53:21
2247
2
原创 2020 Multi-University Training Contest 8 总结
2020 Multi-University Training Contest 8 1001：出题人说A题简单，没看不来。因为过的人太少就没有细想，看了看题解，确实有点亏，菜了菜了。1002：写了个优先队列加速dp，狂WA，赛后发现是假dp，没想到是线段树，菜了菜了。1003：WA了两发很晚才过，向量什么的忘的一干二净，acos函数还用错，菜了菜了。1004：图论和数据结构相关的题给了队友，比赛的时候不会维护连通性，link-cut-tree想是想到了，但是队友认为过的人太多不会是这种算法，血亏，菜
2020-08-15 08:49:43
274
原创 2020 Multi-University Training Contest 7 总结
2020 Multi-University Training Contest 7 1001-1003：防AK题，跳过。1004：我们队考虑枚举v1-v2，没有枚举出来。题解环套树森林，死的不冤。1005：想到了dp，但是只想到了1维，没想到可以二维dp，更不要说最后dp的是个概率，死的不冤。1006：动态点分治套数据结构，完全不会，跳过。1007：简单的博弈题，秒了。1008：现场学的子集卷积，套上去TLE了，倍增子集卷积确实不会。1009：简单构造题，秒了。1010：暴力跑连通块，本来就
2020-08-15 08:27:08
409
原创 2020 Multi-University Training Contest 5 总结
2020 Multi-University Training Contest 5 1001：海伦公式加勾股定理，队友直接推好了h的表达式让我求期望。结果我忘记注意范围，同时long long写成11，WA了3发，背锅。1002：有趣字符串，确实很有趣，跳过。1003：队友折完1009顺便开始模拟，开始MLE，手写栈模拟过了。1004：防AK题，跳过。1005：没想清楚k=1,k=2情况下的具体做法，考虑到花时间想清楚之后也不一定能在时限内求出期望，选择放弃，节约时间。1006：开场就开的博弈题
2020-08-04 20:47:49
385
原创 2020 Multi-University Training Contest 4 总结
2020 Multi-University Training Contest 4 1001：防AK题，跳过。1002：由于双方的血量一样，所以砍死对方花费的时间每个武器是固定的，我们只要挑选花费时间最少的武器即可。1003：01背包DP，算了算复杂度超时，并没有什么好的算法解决。结果题解是不确定性算法，复杂度超的不多就随机，学到了。1004：队友秒了，有个好队友就是可以为所欲为。1005：队友说这不就是斐波那契数列吗，看了看确实是，秒了。1006：二分角度没敢想，这个二分之后的判断更是精妙，不
2020-07-30 19:05:50
404
原创 2019 CCPC 徐州现场赛
2019 CCPC 秦皇岛现场赛 在南京打铜之后吸取教训，全力准备徐州的ICPC。这次银牌第四，总算是体会到了别人银首的痛心。热身赛：A、B水过，C题我猜测是先把a:b化成1:1，再把1:1化成c：d，队友说就算是那样我们也不会呀，回去以后问了一下做出来的队，这就是正解，只不过是很经典的问题，不会就是不会。正赛：C：0:26。问质数在某个区间的分布是否小于1/3。质数分布定理？暑假多校的时...
2019-11-04 08:39:14
610
1
原创 2019 CCPC 秦皇岛现场赛
2019 CCPC 秦皇岛现场赛 纪念我的第一次ACM现场赛，4题银尾，算是比较满意了。感谢队友的努力付出，希望接下来的两场ICPC可以有更好的成绩！热身赛：jlsNB！D题是一个随机，还好队友有一点动漫知识，知道1,3,5对应的位置，WA了一发就直接过了。A题很水的签到题，一开始没看出来，以为是什么有智慧的枚举，结果暴力K-1000K直接过了。B题做了很久才AC，我们队是二分答案ans，然后...
2019-09-23 17:19:05
931
1
原创 2019 ICPC 上海网络赛 D. Counting Sequences I
2019 ICPC 上海网络赛 D. Counting Sequences I 题目大意：解法：看着n的范围，队友的第一反应打表。就不能好好dfs正常输出结果吗？这不比你打表容易多了？接下来大力爆搜加剪枝，TLE。任意一个数都秒出，你和我说TLE？那没办法了，打表安排上。下面是AC代码：#include <bits/stdc++.h>using namespace s...
2019-09-15 23:01:09
750
11
原创 2019 ICPC 沈阳网络赛 K. Guanguan's Happy water
2019 ICPC 沈阳网络赛 K. Guanguan's Happy water 题目大意：已知一个数列f(n)：f[x]=a[x] (1<=x<=k)f[x]=f[x-1]*p[1]+f[x-2]*p[2]………+f[x-k]*p[k] (x>k)给你所有的a[i]，再给你接下来k个f[i]，求f这个数列的前n项和。解法：第一名10分钟以内AC，是人性的扭曲还...
2019-09-14 20:13:53
253
原创 2019 ICPC 南昌网络赛 H. The Nth Item
2019 ICPC 南昌网络赛 H. The Nth Item 题目大意：已知一个数列F(n)：F(0)=0,F(1)=1F(n)=3∗F(n−1)+2∗F(n−2),(n≥2)给你一个操作次数Q，再给你一个初始n的值，令A1=F(n1),A2=F(n2),…Aq=F(nq),其中n1=n,ni=Ai-1*Ai-1^ni-1,输出所有A的异或和。解法：偷鸡成功！不知道多少人是按题解那...
2019-09-08 19:57:13
298
原创 2019 ICPC 徐州网络赛 J.Random Access Iterator
2019 ICPC 徐州网络赛 J.Random Access Iterator题目大意：给你n个点和n-1条边（树形结构），保证1为根节点，通过以下方式dfs遍历：询问dfs到最深节点的概率（有多个最深节点则任意一个即可），答案对1e9+7取模。解法：比赛的时候最好一个小时开的这道概率题，最好10分钟AC了。看上去有些困难，其实就是一个dp的过程。先一遍dfs找到每个节点的深度和孩子数，...
2019-09-07 22:05:40
196
原创 2019 ICPC 南京网络赛 D.Robots
2019 ICPC 南京网络赛 D.Robots题目给出n个点和m条有向边，机器人从1走到n，询问消耗的能量的期望。如果只是求1到n的期望天数，就是很简单的套路题了，设dp[i]表示从i走到n的期望天数，容易得到dp[i]=p*dp[i]+(1-p)*dp[j]+1,其中p表示原地不动的概率。比赛的时候求出天数之后就不会做了，没有细想，其实再叠加一曾，再做一次就可以了，设能量消耗是cost[...
2019-09-02 17:08:32
195
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人