Deno_V-CSDN博客

Deno_V

码龄6年

关注

个人简介：NLP，LLM都感兴趣，我的主页是 https://deno-v.github.io !

IP 属地：河南省

查看详细资料

原力等级

成就

当前等级

4

当前总分

567

当月

16

个人成就

获得350次点赞
内容获得64次评论
获得490次收藏
代码片获得825次分享

兴趣领域设置

Python

pythonscikit-learn
人工智能

机器学习人工智能神经网络自然语言处理

创作活动更多

AI大模型如何赋能电商行业，引领变革？

如何使用AI技术实现购物推荐、会员分类、商品定价等方面的创新应用？如何运用AI技术提高电商平台的销售效率和用户体验呢？欢迎分享您的看法

175人参与去创作

搜TA的内容

要不要设置tokenizer.pad_token = tokenizer.eos_token? ——对pad_token和eos_token的分析

pad_token和eos_token在训练过程和推理中扮演的角色是不同的。如何设置pad_token。能不能让pad_token=eos_token。 tokenizer.pad_token = tokenzier.eos_token.

【代码记录】多线程示例代码

用多线程处理多gpu模型输入的时候写的，感觉复用性会很不错，用以记录和分享。

【torch报错处理】RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0

RuntimeError: probability tensor contains either `inf`, `nan` or element < 0 报错解决，torch版本

【PyTorch distributed】多卡训练原理简析与RuntimeError: Expected to mark a variable ready only once.报错分析

当一个bucket中的所有hook都被触发，意味着这个bucket中的变量的梯度都已经计算得到，Reducer便立刻开启横跨所有进程的异步的梯度平均。此时由于不同rank的计算图不一样，没有任何一个bucket会ready，自然任何一个bucket的allreduce也不会被触发，Reducer虽然会在所有bucket变成ready后等待各自完成allreduce操作，但是当所有进程的backward()已经完成梯度的计算，Reducer将不会等待还未进入ready状态的bucket。得到不同的随机参数。

Diffusion Model 扩散模型 / 一知半解版

网上很多扩散模型的理论说明了，涉及到了推倒过程和原理知识，等等。我看了一些，不论如何，我就是感觉生涩难懂，难达精髓。

前向网络，两层MLP，可以作为未归一化的Key-Value记忆结构

个key-value对，这个成对的kv就是记忆。每个key用一个d维的向量表示。以此分布查询key对应value的值进行聚合得到输出结果。如果去掉偏置，可以改写成。同样我们可以定义value矩阵。个key就可以构成一个参数矩阵。，我们可以轻松的计算输入向量在。传统的两层神经网络可以被写为。个keys上的分布（伪分布）

指派问题如何用原始对偶理论进行求解。

答:

啊，这是我一年前写的对偶问题drp解决指派的博客，我刚刚自己浏览了一遍我自己的帖子，发现我自己看不懂了，主要是我也忘了很多东西....

不过吧，我还有一点印象，首先一点是在用drp求解初始解的方法和迭代的过程，比如求解drp的结果，我的印象是这样的求解能达到优化的目的，但不一定和划线法的完全结果吻合（我只是浅浅记得一点点当时的探索，不是很确定，你可以自己试一下。
另外一点是，划线法和drp方法我只是当时觉得有内在联系，才去思考了一阵。我也不知道是不是有专业的书籍或者什么其他资料讨论这个方法，建议你权当参考。我也不是专业的从事这方面的存在。
划线法比drp方便和直观的多，当年博客的动机在于想解释为什么按照划线法的步骤操作就能最优的原因。然后发现这里可能是暗含了对偶求解的思路。
谢谢

回答问题 2022.10.03