- 博客(20)
- 收藏
- 关注
原创 大模型面经
以模型训练损失为目标函数,将参数某个值置零,再泰勒展开,可以估计权重影响。找到一个W的变化,使得损失最小。假设海森矩阵是对角矩阵:同时剪枝多个权重参数对模型精度造成的影响,等于单独剪枝每个权重对模型造成影响之和。
2024-07-28 21:12:49 209
原创 CUDA编程练习(七) CUDA_GDB与VSCode的自带调试器
学软件操作是这样的,从头到尾透露着一种抽象,反直觉、低“人机工效”、暴击思维惯性还暴击我这个操作快于脑子的习惯
2024-06-01 17:52:04 821
原创 CUDA编程练习(五) 排序
XX排序+归并还是好,避开了多block的同步问题也是,GPU设计出来多block同步个什么劲儿,多轮就多轮共存+循环版本可以搞一搞,提高排序的上限边界条件可以换成把数组变成对齐数组,这样也能提高效率明天搞卷积,样本排序什么的往后稍稍,排得头晕。
2024-05-30 21:55:40 699
原创 CUDA编程练习(四) 矩阵相乘
今日强度:高。今日情绪:高压。日满意度:一般。矩阵乘法的内容应该不止这么多,这些只是凭借记忆和理解,后续还需要补充。后面还有排序是个大坑没开
2024-05-29 17:59:46 2010 1
原创 CUDA编程练习(三) 向量内积
装VSCode和配置VSCode的过程请多使用GPT4o,我也不能确定一个固定的步骤,因为我知道,以后一定会该里面乱七八糟的json文件,现在能用就够了。。。
2024-05-28 22:28:55 388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人