- 博客(3)
- 收藏
- 关注
原创 记录一些transformer包中自带的函数功能
将mask掩码转换为[bsz, 1, tgt_len, src_len]形状,此方法中运用了反转掩码实现了因果掩码,不使用反转掩码也是可以达成这个效果的,我在gpt上得到的回答是反转后1表示无效,0表示有效,更直观的表示了哪些位置是可以允许的,哪些是不允许的。此函数主要用于生成因果掩码,输入中的past_key_values_length为过去键值的长度,输入张量的形状input_ids_shape为batch_size和sqlen。2.创建一个mask_cond张量,形状为(0,sqlen-1)
2024-02-04 20:51:07
413
原创 Llama2 代码学习
此段代码的作用是定义模型中需要用到的各种超参数,维度,层数,头数,kv头数,词典大小,ffn_dim_multiplier和multiple_of暂时不知道,norm_eps为标准化时防止0出现在分母上的一个极小参数,,还有批次大小,序列长度大小。通过torch.view_as_complex函数将xq,xk变成复数形式,将freqs_cis广播为xq形式,将位置编码以复数相乘的方法加入xq,xk中,最后再返回实数形式。准备学习llama2模型的代码。
2024-02-02 17:18:03
771
原创 怎样让服务器连上校园网
在校园网登陆界面点击登录,以上页面就会出现很多网络请求,记得登陆之前先清楚网络日志,之后在第一条中找到类似以下的页面请求:(记得一定是有带password的,没有的不行!连上之后可以在命令行ping www.baidu.com试试。
2024-01-26 15:54:13
584
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人