深度学习
文章平均质量分 90
丸丸丸子w
生物信息
展开
-
Transformer源码(带注释)
在看Transformer源码前,必须要先从李宏毅/李沐那里把注意力机制/自注意力/多头注意力的原理和Transformer的架构原理先搞明白,才可以看得懂代码。我是先把多头自注意力机制那块公式/代码手推过一遍之后,再结合up主的讲解补充了mask和position encoding,就能搞懂transformer了。如果有学不懂的欢迎评论/私信加qq交流,也当是自己巩固知识。在up主的注释下增加了一些自己的注释。原创 2023-12-11 10:17:46 · 837 阅读 · 0 评论 -
表示学习(Representation Learning) Part2--Auto-Encoders、VAEs、GANs
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》主要内容是表示学习(Representation Learning)的part2----压缩(自动编码器)、捕捉参数分布(VAE)、使用第二个网络(GAN)三种方式来进行Representation Learning原创 2023-06-14 18:48:51 · 1039 阅读 · 0 评论 -
表示学习(Representation Learning) Part1--Pretext Text
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》。主要内容是表示学习(Representation Learning)的part1----Pretext Text(代理任务/前置任务/辅助任务等等),可以理解为是一种为达到特定训练任务而设计的间接任务。。包括这几个部分:推断结构、转换预测、重构、利用时间、多模态、实例分类(对应英文见目录)原创 2023-06-09 00:21:23 · 822 阅读 · 0 评论 -
NLP基础知识(语法语义、LDA、N-gram、词嵌入)
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》。本文是NLP的铺垫,很多基础的知识,讲的主要是传统的一些方法,对于深入现代的RNN、LSTM、BERT、Transformer、GPT等等模型可以说是必备的。主要讲了文本的语法和语义关系、不确定性(医学文本)、LDA主题模型、N-gram models、词嵌入是啥(embedding)。解决了我以前只学模型的一些困惑。最后粗略的过了一下大语言模型(LLMs)并给出了几个好的视频链接(台大李宏毅)。原创 2023-05-29 23:45:01 · 1133 阅读 · 0 评论 -
【生物信息】调控基因组学 (Regulatory Genomics) 和Deep CNN
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》。主要内容就是调控基因组学和深度卷积网络的结合原创 2023-05-24 19:57:36 · 909 阅读 · 0 评论 -
生成模型(自编码器、VAE、GAN)
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》,中间结合李沐的一个精读视频(GAN)作为补充。主要内容就是生成模型,包括自编码器(Autoencoder)、变分自编码器(VAE)和生成对抗网络(GAN)。由于这部分在我学习的课程中不到15分钟,所以内容很少,下面贴出油管链接(这个有一个半小时)原创 2023-05-24 19:54:12 · 2636 阅读 · 0 评论 -
图神经网络GNN GCN AlphaFold2 虚拟药物筛选和新药设计
来自Manolis Kellis教授的课《人工智能与机器学习》,中间结合李沐老师的两个精读视频(GNN和AlphaFold2)作为补充。本节课主要介绍了几何深度学习、图神经网络主要内容有图神经网络、GNN、GCN、对称性、等变性、信息传递、蛋白质空间结构预测(AlphaFold2)、药物设计(虚拟药物筛选和新药设计)。原创 2023-05-23 23:16:35 · 2687 阅读 · 0 评论 -
网络分析和机器学习
来自Manolis Kellis教授(MIT计算生物学主任)的课《人工智能与机器学习》。本节课主要介绍了network和graph的知识。主要内容有网络和图的基础知识(网络类型、相关算法)、网络性质(motifs性质、中心性等)、特征向量、SVD奇异值分解、PCA、Sparse PCA、t-SNE等。我觉得讲的很好!短短一个半小时讲的比我大一学的线性代数有意思多了,很有启发,尽管我的线性代数很烂但不妨碍边学边查最后大概都能听懂。原创 2023-05-21 15:57:23 · 1127 阅读 · 0 评论 -
pytorch 神经网络笔记-RNN和LSTM
b站课程笔记 循环神经网络部分,理论讲的还挺通俗易懂的,虽然有时候把自己讲晕了,包括RNN和LSTM原创 2023-01-22 22:52:43 · 1642 阅读 · 0 评论 -
卷积神经网络进阶--基础知识
F(x)是经过网络后学到的东西,即残差,输出是包括x的恒等变换的,说明及时F(x)为0,至少也跟浅层网络持平,F(x)不为0能学到的话就有效果,且更深。从下往上看,发现2个3*3的卷积核和1个5*5最后输出都是一样的size。参数数目一定程度上能反应模型的容量,太多的容量容易过拟合,所以这里强化了卷积层,就弱化了全链接层。参数数目就是卷积核的大小*输入通道数*输出通道数。激活函数的不同,会影响训练的速度,以及最后的结果。每经过一层都要乘当前梯度,即两个小于1的数,那么。padding自行选择添加。原创 2023-01-22 22:41:54 · 1064 阅读 · 0 评论 -
pytorch 神经网络基础入门笔记【b站小土堆】
注意方法的输入与输出学会看帮助文档学会看源码,关注方法要什么参数不知道返回值的时候printDebug一般来说,和图像本身处理相关的不改变数据格式,数学相关的都是基于Tensor,中间的桥梁是toTensor。原创 2023-01-22 22:39:16 · 1335 阅读 · 2 评论