深度学习
深度学习
苏埋
这个作者很懒,什么都没留下…
展开
-
torch 实现 multihead attention
1. 从简单的开始: self attn的实现。2. multihead attention 3. 无 attn_mask 无 dropout 的简化版。4.浅贴一个文心一言的 multihead attn的输出代码。原创 2023-10-12 20:21:35 · 301 阅读 · 0 评论 -
torch 实现 softmax 回归
逻辑回归用于解决二分类问题,其泛化形式为 softmax 回归(解决多分类问题)。 softmax 回归,其网络结构与线性回归基本一致;不同之处在于,output 层维度与分类别数保持一致,相应的损失函数采用交叉熵损失(回归问题采用 Mse 损失 等)。 此外本文也用 torch 实现了 dropout 层。原创 2023-10-12 20:08:49 · 198 阅读 · 0 评论 -
torch 实现线性回归
重写 Dataset 类以及定义线性回归网络。torch 实现线性回归的写法。原创 2023-10-12 19:47:11 · 96 阅读 · 0 评论