onlyxinbaby的博客

2. 陈丹琦团队提出的一种改进GPT-3的模型，其可以扩展到任意的预训练模型上，并可以在小样本情景下更好的进行微调。4. 这是一篇跨任务泛化的工作，采用检索增强的方法实现了零资源的跨任务泛化能力增强。作者发现，使用对比句子目标的预训练可以显著提高语言模型在连贯对话生成任务上的性能，尤其是在长对话场景中。3. 本文主要对ICL和PEFT方法，在少样本场景下进行了严谨的实验对比，发现PEFT方法在取得很高精度的情况下，同时很大降低了计算消耗，可以作为替代ICL针对fine-tuning范式缺陷的一个解决方案。

反正，将参数的require_grad设置为False。想要固定后续变量，训练前序变量，用detach。主要参考了这篇博客。

有一类方法是使用了adapter tuning，freeze大多数的ptm的参数，嵌入额外的task-specific的参数，只调整部分参数。题外话：Roberta相对于bert的区别。训练方式和数据集做了一定的改动。保持LLM不变，调整一小部分参数continuous task-specific vector，即prefix。现有的方法fine-tune，参数量太大，GPT2 774M，GPT3 175B。更大的batch size，更多的训练数据，更长的训练时间。在更长的句子上训练。

改成 tar -xf datasets.tar，成功解决。

虽然我不觉得这个会有什么很大的提升，[CLS]不也是句子中的各个token的表示的加权求和吗？（感觉和NMT caideng的文章好像啊）收到以上思想的启发，本文提出利用检索和关联的方法，提升prompt learning的泛化性，在generalization和memorization之间寻找一个平衡。inference的时候，通过插入非参数化的k近邻的信息，提升分类的性能。本文的实验是在zero-shot和few-shot的场景下进行的，实验结果证明了所提出的检索机制对于稀缺样本具有更好的泛化性能。

交叉验证是为了避免随机性给模型带来的对比不公平的情况，所以在各种训练数据和测试数据的安排下对不同的模型结构进行多次训练和选择，求均值和方差之后进行对比。深度学习模型的交叉验证方法，是为了测试两种不同的模型结构的优势，而不是测试一种模型到什么时候收敛，初学的时候弄混了。一个attention的pytorch的实现的记录和参考吧。留一：这种实在数据非常非常少的时候用的。

ACC F1

advantages: 提供了与LLM进行交流的可解释的接口，通过template和demonstration将人类知识和LLM更好的结合；更像人类的预测思维，会根据类比；warmup是介于pretraining和 inference之间的，可选择的，一般是调整llm或者增加一些参数，不同于fine-tune，不会对llm针对具体任务进行训练。严格说ICL是prompt learning的子类，其中的demonstration和是prompt的一种，只不过demonstration是很多的xy对构成的。

LLM

课程介绍：1.Python程序设计语言2.深度学习——神经网络基础3.具有实际背景问题的提出以及解决Python1.面向对象编程，语法简单，支持动态输入，解释性语言（输入完成后就能运行）。适合于应用程序的动态开发。  1）面向对象  2）可扩展，可移植，可嵌入（与其他语言相互嵌入）  3）丰富的库（开源性），函数集合，数学模型。（C++  STL）具有普遍性

从第一个数开始，通过比较（将大数后移）将其沉底，也就是说没一次都将除了上一次沉底的那个数以外的所有的数中的最大数放到了这些数的最后。有n个数，进行n-1次冒泡排序，第i次进行n-1-i次比较交换。贴代码：#include #includeusing namespace std;void BinSort(int a[],int n){ for(int i=0;i<n-

直接插入排序：将待排序序列分为有序区和无序区，不断的将无序区的元素插入有序区。插入的时候要依次比较有序区的元素找到合适的插入位置。可以顺序比较，也可以逆序比较。这里采用逆序比较方法，即把r[i]和r[i-1],r[i-2]......r[1]比较，在r[0]处设置哨兵。#include using namespace std;void InsertSort(int a[],int n)

折半查找也成二分查找，是一种高效率的算法，算法思路很简单不多说，时间复杂度为O(log2 n)。#include using namespace std;int Search_Bin(int a[],int n,int key){ int low=0,high=n-1; while(low<=high) { int mid=(low+hig

DAG图：有向无环图，是描述一项工程或系统的进行过程的有效工具。一般的工程可以分为若干个活动，而这些活动之间存在着某种约束条件，也就是说某一项工程的进行必须在另一项工程的完成的前提之下完成。比如说：只有学完高数和C语言才能学数据结构。（不然学不会）2333AOV网：用顶点表示活动，用弧表示活动中的优先关系的有向图，也称为顶点表示活动的网。（这里书中讲到几个概念：前驱，后继，直接前驱

已知两个字符串，一个主串S，一个子串T，求子串在主串中是否出现。如果出现，输出子串在主串中的位置。利用暴力求解算法，每次比较主串和子串中的一个字符是否相等，如果相等，两个串的下标均后移。如果不相等，子串下标回到零，主串下标回到上一次开始比较的下一个位置。也就是说，每匹配失败一次，子串相对主串只移动一个字符的位置。在最好的情况下，该算法的时间复杂度为O（m+n）,在最坏的情况下，时间复杂度为O(

思路①：利用循环，碰到空格即删除（通过覆盖来删除），但是要注意连续空格的情况，还要注意每次删除一个字符后字符串的长度都要减一。#include #include#includeusing namespace std;void DeleteSpace(char *s){ int len=strlen(s); for(int i=0;i<len;i++) {

构建一个链表以后，从第一个点开始，逐渐改变他和后面的点的指针。并且要加一个辅助点来记住改变指针的点后的点。这里要注意的是记住将第一个点的next变成空，将head的next变成最后一个顶点。#include #include#include#includeusing namespace std;typedef struct LNode{ int data; st

给你一堆括号，判断他是否是匹配好了的。例如：{（[] []）},属于匹配成功。而()[)}属于匹配失败。下面我们开始考虑匹配失败的情况1）括号种类本身就不匹配，比如（]。2）左括号的个数小于右括号 的个数。{[()]]}3）左括号的个数多于右括号的个数。{[(()]}

现在我们有面值为1，3，5元的硬币若干枚，想要用最少的硬币个数凑够n元。这是一个线性规划的问题。 既然是线性规划，就要定义状态，并推算出状态转移方程。定义状态f[i]为凑够i元需要的最少的硬币数。这里用顺推，从i=0开始，不需要硬币来凑，f[0]=0。                        i=1，f[1]=f[1-1]+1=f[0]+1=1;   

大体上就是构建一个具有n个点的链表，利用前插法，就是不断地把结点往头结点的后面插入。既然是如此，那么越往后插入的结点在链表中就越靠前。所以在输入链表结点的data值的时候应该是逆序输入的。包括链表的插入，要注意的是灵活改变指针指向。删除要注意的是不仅要改变指针的指向，还要将要删除的那块空间释放掉。注意malloc和free配对使用。贴代码贴代码：#include #