![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度模型底层原理
文章平均质量分 76
专业发呆业余科研
985本硕博,深耕医学人工智能领域科研,“医工结合”一线工作者。
展开
-
交叉熵损失与二元交叉熵损失:区别、联系及实现细节
在机器学习和深度学习中,交叉熵损失(Cross-Entropy Loss)和二元交叉熵损失(Binary Cross-Entropy Loss)是两种常用的损失函数,它们在分类任务中发挥着重要作用。本文将详细介绍这两种损失函数的区别和联系,并通过具体的代码示例来说明它们的实现细节。原创 2024-07-25 15:13:20 · 700 阅读 · 0 评论 -
注意力池化层:从概念到实现及应用
在现代深度学习模型中,注意力机制已经成为一个不可或缺的组件,特别是在处理自然语言和视觉数据时。多头注意力机制(Multihead Attention)是Transformer模型的核心,它通过多个注意力头来捕捉序列中不同部分之间的关系。然而,在多模态模型中,如何有效地将图像特征和文本特征结合起来一直是一个挑战。注意力池化层(Attention Pooling Layer)提供了一种有效的解决方案,通过将高维度的图像特征聚合成固定长度的表示,使其能够与文本特征进行有效融合。本文将从注意力池化层的作用、实现方式原创 2024-07-09 14:35:56 · 881 阅读 · 1 评论 -
从头实现一个完整的Transformer模型
在深入研究Transformer架构时,我常感到现有教程缺少关键内容。Tensorflow或Pytorch的官方教程使用高层次API,理解底层实现需耗费大量时间。其他教程则过于简化,未涉及重要概念。因此,我决定自己编写Transformer,以确保理解这些概念并能应用于任何数据集。本文将系统地逐层实现一个Transformer。虽然不打算超越现有实现,本文旨在通过详细教程帮助读者更好地掌握Transformer理论和代码,实现对API的全面理解。原创 2024-06-20 17:59:33 · 1024 阅读 · 0 评论