深度学习
文章平均质量分 93
Surpassall
好事多磨,戒骄戒躁~~
展开
-
《Character-Level Language Modeling with Deeper Self-Attention》文献阅读
本博文基于《Character-Level Language Modeling with Deeper Self-Attention》这篇文章进行讲解,该文章发表在2019年的AAAI会议上,作者来自Google AI。在本文中,作者展示了具有固定上下文的深层(64层)transformer模型(Vaswani et al.2017)在很大程度上优于RNN变体,在两个流行基准上实现了SOTA水平:text8上每个字符1.13位,enwik8上为1.06位。为了在这个深度上获得好的结果,作者证明在中间网络层.原创 2021-11-28 16:29:00 · 1011 阅读 · 0 评论 -
PPI的多模态融合预测
本博文基于《Amalgamation of protein sequence, structure and textual information forimproving protein-protein interaction identification》这篇文章进行讲解,该文章发表在2020的ACL上,作者是印度理工学院计算机科学与工程系的两个研究生,主要的工作是构建了一个PPI的数据集,包括文本,基因序列和蛋白结构这三种模态。另外,作者还构建了一个模型去处理这三种模态的数据,然后预测PPI。最后.原创 2021-03-01 19:55:52 · 1360 阅读 · 2 评论 -
详解神经网络(Neural Network)
读《Python神经网络编程》总结一些归纳计算机编程语言可以理解矩阵计算,并认识到潜在的计算方法的相似性,这允许计算机高速高效地进行这些计算,算出X = W • I ,而无需我们对每一层的每个节点给出单独的计算指令。为什么让误差反向传播到网络的每一层呢?原因是,我们使用误差来指导如何调整链接权重,从而改进神经网络输出的总体答案。为了避免终止于错误的山谷或错误的函数最小值,我们从山上的不同...原创 2020-02-06 18:09:17 · 2134 阅读 · 0 评论 -
Pytorch在多GPU下选择特定序号的GPU运行程序
原先的代码可能如下:device = torch.device("cuda:0" if torch.cuda.is_available() and not args.no_cuda else "cpu")if args.n_gpu > 1: model = torch.nn.DataParallel(model)上面这段代码会指定序号为0的GPU作为初始加载的GPU,同时如果...原创 2020-05-02 11:13:01 · 1974 阅读 · 4 评论 -
RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found
跑Pytorch模型的时候,经常会遇到一个问题,就是RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cuda:4,这个问题真的很烦人,每次都花了我很长时间去解决。这个问题其实无非就是有些参数本来加载在gpu0的,被程序加载到了gpu4上,导致出错。接下来我总结一下它的解决方法:(1)修改主gpu:程序默认使用原创 2020-06-27 23:19:20 · 20868 阅读 · 6 评论 -
文献阅读《Self-Supervised Graph Transformer on Large-Scale Molecular Data》
这篇文章是腾讯AI Lab和清华大学合作,投稿在2020年NeurlPS上的文章,主要的工作是设计了一个预训练模型,能够在大规模的无标签的化学分子数据上进行自监督训练,使得模型在下游任务的泛化性更强。接下来进入这篇文章的大概解读。一、任务背景在人工智能驱动的药物设计和发现中,如何获得分子的信息表示是至关重要的先决条件。近年来,很多研究将分子抽象为图(Graph),并使用图神经网络(GNNs)进行分子表示学习。但是有两个问题阻碍了GNNs在真实场景中的使用:(1)用于监督训练的有标签分子数据不足;(2.原创 2020-12-09 17:47:18 · 2426 阅读 · 0 评论