- 博客(3)
- 收藏
- 关注
RSS订阅原创 记录一些transformer包中自带的函数功能
将mask掩码转换为[bsz, 1, tgt_len, src_len]形状，此方法中运用了反转掩码实现了因果掩码，不使用反转掩码也是可以达成这个效果的，我在gpt上得到的回答是反转后1表示无效，0表示有效，更直观的表示了哪些位置是可以允许的，哪些是不允许的。此函数主要用于生成因果掩码，输入中的past_key_values_length为过去键值的长度，输入张量的形状input_ids_shape为batch_size和sqlen。2.创建一个mask_cond张量，形状为（0，sqlen-1）
2024-02-04 20:51:07
413
原创 Llama2 代码学习
此段代码的作用是定义模型中需要用到的各种超参数，维度，层数，头数，kv头数，词典大小，ffn_dim_multiplier和multiple_of暂时不知道，norm_eps为标准化时防止0出现在分母上的一个极小参数，，还有批次大小，序列长度大小。通过torch.view_as_complex函数将xq，xk变成复数形式，将freqs_cis广播为xq形式，将位置编码以复数相乘的方法加入xq，xk中，最后再返回实数形式。准备学习llama2模型的代码。
2024-02-02 17:18:03
771
原创 怎样让服务器连上校园网
在校园网登陆界面点击登录，以上页面就会出现很多网络请求，记得登陆之前先清楚网络日志，之后在第一条中找到类似以下的页面请求：（记得一定是有带password的，没有的不行！连上之后可以在命令行ping www.baidu.com试试。
2024-01-26 15:54:13
584
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人