- 博客(12)
- 收藏
- 关注
原创 Transformer Pytorch 在pad时做attention mask 出现 nan问题分析
本文分析了Pytorch推理中由于mask操作导致的nan问题,尤其是在使用scaled_dot_product_attention函数时。为解决这一问题,建议使用bfloat16()推理、避免使用-inf作为mask值,或选择不同的注意力机制实现方式。
2024-08-22 23:58:05 601 1
原创 Transformers库与LLM推理
Transformers库是一个用于自然语言处理的开源Python库,它提供了预训练的Transformer模型和简化的API,使得NLP任务如文本生成和分类更加容易。本文简要介绍了在进行LLM推理时一些常见的Transformers的API用法。
2024-06-13 17:03:51 795
原创 C++中循环include问题的讨论
C语言中未避免头文件的重复引用,一般都会使用include guard(如pragma once或#ifndef等),但这样做以后并不是万事大吉了。循环使用include可能会出现一些意想不到的错误。如果代码较为复杂,这些错误编译器可能并不能很好的检查出来。比如:a.cpp引用a.h,a.h引用b.h,b.h引用a.h。此时a.h被引用了两次,如果使用include guard,则此时b.h引用a.h为无效引用。
2023-02-14 19:35:12 746
原创 C++ 的复制省略(copy elision)特性
在上述代码中,①和②的意思是不一样的。②是直接声明,①则是先初始化一个临时的对象,在将其复制给test1(这里注意一下,如果把③的const去掉,程序会报错,因为。C++复制省略的介绍: https://zh.wikipedia.org/wiki/%E5%A4%8D%E5%88%B6%E7%9C%81%E7%95%A5。但由于copy elision特性的存在,拷贝初始化会被转换为直接初始化,即②会转换为①的形式。copy elision的特性可以在gcc中通过添加。生成的是一个临时的对象。
2023-02-05 00:05:58 210
原创 python 正则表达式 re库 入门
参考:https://www.icourse163.org/learn/BIT-1001870001?tid=1467473478#/learn/content?type=detail&id=1248909693&cid=1276198042Raw String主要函数compiledef compile(pattern, flags=0): "Compile a regular expression pattern, returning a Pattern obj.
2022-05-15 17:36:00 201
原创 GDB 入门
参考视频:https://www.bilibili.com/video/BV1vQ4y1N7Pv?spm_id_from=333.337.search-card.all.click使用前准备使用 -g 编译文件gcc -g test.c启动gdb:gdb <file_name>gdb a.out常用指令指令缩写功能runr执行continuec继续执行nextn下一条指令(打印接下来执行的指令)quitq退出f.
2022-03-20 22:15:39 406
原创 Cross-Entropy(交叉熵)
参考视频:https://www.youtube.com/watch?v=ErfnhcEV1O8信息论Entropy对于一个事件,每传输 1bit 可将不确定度降低一半对于一个概率为p的事件,需要传递 xbit(编码长度) 的数据,有 p=12xp=\frac{1}{2^{x}}p=2x1故Entropy定义为:H(p)=−Σipilog2(pi)H(p)=-\Sigma_{i} p_{i} \log _{2}\left(p_{i}\right)H(p)=−Σipilog2(pi.
2022-03-05 12:35:44 704
原创 八皇后问题 C语言实现
问题:在8×8格的国际象棋上摆放8个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同一斜线上,问有多少种摆法。思路:对于计算机问题的求解,我们完全可以模仿人类的解题思路,并将其抽象化,形成可供计算机执行的代码。首先,我们考虑使用枚举的方式,但应保证枚举不重复。故我们将八个棋子分别编号,并让编号小的棋子永远在编号大的棋子前,从左到右,从上到下,从编号小的棋子依次排列到编号大的棋子。按照这个思路,我们可以定义一个8*8的二维数组,二维数组的值代表这个棋子的编号。..
2020-11-17 22:03:40 4674
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人