跨过一座座山

Swarm框架+开源模型+Agent跳转

chain.invoke(context)只可传入一个参数，若传入多个参数，利用chain.invoke({‘context’: context, ‘num’:num})返回dict形式，通过添加, return_only_outputs=True，可以只返回text键。chain.run(context)这种形式只用于传入一个参数，若传入多个参数，调用形式如下。chain(context)只可传入一个参数，若传入多个参数，调用形式如下。单个或者多个输出参数，调用方式都如下，其他方式出错。

输出probs:[B, L, vab_size]

可于下面链接中LLaMA中ROPE实现做对比。，拆解后可以得到下式。

1、Attention中q，经下式，生成新的q。m为句长length，d为embedding_dim/head。2、LLaMA中RoPE源码。

上述张量返回 [n, *]，若n==0，无nan；

ChatGLM的部署微调等，很多资料，不再赘述。

einops中pack、unpack使用

Darknet转为Pytorch

报错信息如下：You are running using the stub version of cusolver上述错误说明你使用了stub版本的libcusolve，替换成对应版本就好。有坑的地方：去到cuda安装的目录lib64下，看到明明有libcusolver.so文件，把它删掉或者放到stubs目录下。这时如果你从别处拷一份libcusolver.so过来，会发现不能复制或者出现You are running using the stub version of cusolver同样的错误

报错信息如上，原因是cuda中缺少libcudart.so.10.2文件解决方法：1、从别处同一版本cuda的lib64文件下，复制一个，放到/usr/loca/cuda***/lib64的文件夹内2、从nvidia官网下载cuda，重新安装或者解压取到libcudart.so.10.2同样的，缺少libcusolver.so、libcusolver.so.10、libcufft.so.10、libnvrtc.so.10.2等文件，同样操作即可...

mxnet.base.MXNetError: [10:32:39] src/engine/./…/common/cuda_utils.h:395: Check failed: e == cudaSuccess || e == cudaErrorCudartUnloading: CUDA: invalid device ordinal上述错误，说明当前使用cuda的编号错误，仔细查看gpu的id

转载自知乎，侵删

1. AdaGrad算法花书中截图，随便找了一张。2.源码def step(self, closure=None): """Performs a single optimization step. Arguments: closure (callable, optional): A closure that reevaluates the model and returns the loss. """ loss = None

错误如下RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.IntTensor [12, 1, 10]] is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that fai

错误：上述错误看着像是维度不匹配，实际是生成数据的错误1、GPU数量2，使用Dataparallel加载inputs：[batch_size, length]其中的一个输入，即bert中positional embedding，偷了个巧，反正每个样本其值都一样，所幸在DataLoader中将其维度设置为[1, length, embed_dim]，然后就悲剧了。模型进行数据并行时，例如这里是两块GPU，实际是将数据分成两份，按照batch_size的维度进行分配。如果positional emb

1、损失函数推导假定yyy服从于Bernoulli分布，也即f(y)=py(1−p)1−yf(y)=p^y(1-p)^{1-y} f(y)=py(1−p)1−y其中y=0,1参照李航《统计学习方法》第二版p93解法，易得对数似然函数为L(w)=∑i=1N[yi(wxi)−log(1+exp(wxi))]L(w)=\sum_{i=1}^{N}[y_i(wx_i)-log(1+exp(wx_i))]L(w)=i=1∑N​[yi​(wxi​)−log(1+exp(wxi​))]所以，lo

1、交叉熵损失函数交叉熵的公式有多种形式，一般写作loss=−1n∑j=1nyjlnaj（∗∗）loss=-\frac{1}{n}\sum_{j=1}^{n}y_jlna_j （**）loss=−n1​j=1∑n​yj​lnaj​（∗∗）lossj=−yjlnaj（1）loss_j=-y_jlna_j （1）lossj​=−yj​lnaj​（1）lossjloss_jlossj​表示第j个样本的损失。aja_jaj​表示softmax函数输出。yjy_jyj​表示第j个样本的真实标签，为o