c___c18的博客

最近在使用LangChain来做一个LLMs和KBs结合的小Demo玩玩，也就是RAG（etrievalugmentedeneration）。这部分的内容其实在的官网已经给出了流程图。我这里就直接偷懒了，准备对进行复刻练习，那么接下来就是照着葫芦画瓢就行。那么我卡在了Retrieve这一步。我对和这三个地方的input_key不明白为啥一定要这样设置。虽然我也看了LangChain的。但是我并未得到详细的答案，那么只能一行行看源码是到底怎么设置的了。

从说法上，我实在是看不出来有什么关系，然后我就没当回事，就按照字面意思就开整了（OS：当时我就想着，这两个方法应该我用一个就好，处理的是文本，那么就梭哈写出了下面的ChineseTextSplitter类）我本来是用一个csv文件来做demo的，那么就参考别人的代码，开始了照虎画猫的拙劣表演。我心想为啥有两个方法，我就无意中点开了。总结一句话就是，能力不足，基础不牢，只懂梭哈，傻乐吃瓜。至此初步了解了两个方法之间的关系，以及类之间的继承。，里面有几个方法，大体上感觉问题不大，这把稳了。

经常使用BERT来做研究，因此对Encoder的架构较为熟悉，但是从来没有了解过GPT这样的Decoder架构，尤其对自回归的形式不知道源码是如何实现的。为了方便对比和讨论，接来下所探讨的源码都是基于HuggingFace这个框架的。

目前HuggingFace发布了关于微调LLMs的方法包——此外也列出了该包对不同的任务中，不同方法和模型的支持情况（我只列出了关于NLP的，还有的）：但是还没有P-Tuning v2:的方法，因此我就看源码是怎么处理的。在研究和阅读其他人blog期间，发现有些人对P-Tuning描述不准确。因此需要注意甄别（主要是P-Tuning和Prompt-Tuning的方法提出时间就差了一个月，并且在方法上有一定的相似性，都是在Embedding中使用了continuous prompt）

首先搬出论文的出处：【文章一】ICML’20【文章二】CVPR’21先说一下为什么要读这两篇论文呢？其实是来自一个偶然的机会，自己看到了对比学习(Contrastive Learning)这个东西，还是从ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer这篇文章入坑的(当然作为对比学习的入门，感觉还是SimCLR这个论文比较直白)。

下图中简单介绍了RNN和self-attention的机制区别，首先是第一个区别就是，在下图中最后面的黄色的输出值在RNN中很难去考虑第一个的RNN的输入(当然双向的RNN也是可以实现的，或者改进的RNN，如LSTM)，而在self-attention中是很容易去实现的。下面这张图片表示了在不同数据集上的效果图，发现，在数据集不大的情况下，CNN的效果是优于self- attention的，反之CNN的效果会差一些。如上图所示，就是在计算完成qi的时候，再去对应相乘两个不同的矩阵，这样就得到了新的向量。

图表示实体节点之间的关系，如下图所示：其中U表示的是整张图。

长尾分布在分类任务中会提到这个名,这是因为长尾分布这个现象问题会导致在训练过程中会出现出错率高的问题，影响了实验结果。这里要说的是，长尾分布是一种现象，有的地方说是一种理论或定律，我感觉这样说不太确切，因为长尾分布并非是一种普遍现象，不能将所有的数据分布或者现象都强加于长尾分布这个概念上。

Transformer就是一种seq2seq模型。Begin是用于判断输入的开始的，这样可以便于定位。接下来我们来看输出的结果是什么：根据不同的语言，输出的结果就是一个字点集向量(如果是中文，我们可以输出2000个常用词；如果是英文，那么输出的结果既可以是26个英文字母，也可以是常见的词汇；因此要因情况而定)。

所谓的Seq2seq模型从字面上理解很简单，就是由一个序列到另一个序列的过程(比如翻译、语音等方面的应用)：那么既然是序列模型，就需要搭建一个RNN模型(神经单元可以是GRU模型或者是LSTM模型)下面两篇文章提出了这样的seq2seq的模型设计，引入了encode和decode机制。

好了，言归正传，BERT的出现真的是在NLP领域掀起了一阵不小的轰动，从BERT文章的Abstract部分就可以看出，BERT是结合了GPT和ELMo两个模型的框架特点——是一个深层次的以Transformer为Backbone的双向架构。这样的设计的方法可以在预训练之后的BERT模型之上添加一个额外的输出层便可以实现各种下游任务(其实这个地方就是微调，跟GPT一样，只需要改上层结构就可以了)。

HuggingFace----Accelerate的使用

HuggingFace——Trainer的简单使用

这里整理一些PyTorch单机多核训练的方法和简单原理。

Hugging Face--MLM预训练掩码语言模型方法

HuggingFace——Tokenizer的简单记录

np.random.seed(42)tf.random.set_seed(42)这两行代码真是让我着迷了一个晚上。最近在上手机器学习的东西，然后就需要书写一写tensorflow的代码。毕竟第一次用tensorflow，也不太明白，也是一直在看文档，但是是照着样例来做的。然后就照常搭建网络(根据Keras的文档)import pandas as pdfrom sklearn.datasets import fetch_california_housingimport numpy as np

题目链接题意给出一个n * m的矩阵。让你从中发现一个最大的正方形。使得这样子的正方形在矩阵中出现了至少两次。输出最大正方形的边长。分析这题关键点就是如何去定义正方形，如果纯粹去暴力，将矩阵逐行去分析，那么复杂度将会到达O(n3 )，如果知道二维哈希，那么获得正方形的哈希值就可以在O(1)的时间复杂度下得到了。二维哈希的关键就是要定义和获取，定义如下：for(int i=1;i<=n;i++) for(int j=1;j<=m;j++) hasha[i][j]

题目链接题目描述：ZZT 得到了一个字符串 S 以及一个整数 K。WZH 在 1995 年提出了“优雅 K 串”的定义：这个字符串每一种字符的个数都是 K 的倍数。现在 ZZT 想要对字符串进行 Q 次询问，第 i 次询问给出一个区间 [Li, Ri]，他想计算 [Li, Ri] 中有多少个子串是“优雅 K 串”。由于 ZZT 忙于工作，所以他把这个问题交给了你，请你帮忙解决。输入描述:第一行输入一个正整数 K。第二行输入一个字符串 S。第三行输入一个正整数 Q，表示有 Q 次询问。接下

题目链接Problem DescriptionRSA is one of the most powerful methods to encrypt data. The RSA algorithm is described as follow:choose two large integer p, qcalculate n = p * q, calculate F(n) = (p - 1) * (q - 1)choose an integer e(1 < e < F(n)), maki