深度学习扒代码
文章平均质量分 94
kirov1024
这个作者很懒,什么都没留下…
展开
-
生物大模型文献及代码精读(三)找到所有物种的通用基因?
做了什么?在这里我们介绍SATURN(翻译为土星),一种基于蛋白质语言模型的通用细胞嵌入编码基因的学习方法。通过整合来自不同物种的数据集及基因组相似性,作者提出了一种Macrogenes,用于综合不同基因跨物种共表达;作者基于这种embedding方法,将其用于单细胞多物种整合等下游任务,效果拔群;同时还展现了识别位置基因的功能的作用。意义是什么?解决跨物种分析难题增强对细胞类型的理解:SATURN方法通过整合不同物种的单细胞RNA测序数据,揭示了细胞类型在进化过程中的保守性和多样性。原创 2024-05-09 22:31:43 · 427 阅读 · 1 评论 -
开源GPT?nanoGPT啃代码记实(三)核心BLOCK模块和GPT模块
项目github:https://link.zhihu.com/?今天继续来啃nanoGPT的代码,这个专栏的代码解析讲究一个从0开始,以完全不懂的身份0基础讲解,同时附上扒代码时候的个人理解。原创 2024-03-10 16:13:16 · 992 阅读 · 0 评论 -
生物大模型文献及代码精读(一)scGPT——3000万细胞的预训练模型?
做了什么?建立了一个基于超过3300万个单细胞数据细胞的生成式预训练transformer,主要同时学习细胞和基因的表达。意义是什么?促进预训练模型在各种不同任务中的应用,如细胞类型注释、基因扰动预测、批次校正和多组学集成等方面,展最终实现“通用预训练,按需微调”。话外:预训练模型到底是什么?自己练了一套花拳绣腿,但是自己修为不够,发挥不了这招式的威力,所以找高手传输内力,使得自己的花拳绣腿也威力强大起来了。原创 2024-03-06 18:08:27 · 1226 阅读 · 3 评论 -
【开源GPT?】nanoGPT啃代码记实(二)
yixi−μiσi2ϵ∗γβyiσi2ϵxi−μi∗γβ接下来是CausalSelfAttention 类就是大名鼎鼎的注意力机制模块了else:return y观察者我 Q,图片 K,观察重点 V所谓1000个人有1000个哈姆雷特,每个眼中的图片都不一样,我们对图片的不同区域的关注是不一样的,这也是图上热图所显示的。原创 2024-03-04 19:12:06 · 998 阅读 · 0 评论