torch 单机多卡训练 最近在尝试用torch单机多卡进行训练。 网上有很多方法，有的讲的也很详细，但是torch版本更新的还是很快的。所以自己也踩了很多坑。在这里记录下来，希望对大家有帮助。本文适用torch版本：1.10torch单机多gpu训练有两种方式torch.nn.DataParalleltorch.nn.DataParallel( module, device_ids=None, output_device=None, dim=0)这一种方式是比较老的，官方现在也不太推荐，相对来说，这种方式
RNN与torch DataParallel的爱恨情仇 torch.nn.DataParallel是通常用来多gpu加速的一个torch包。在我的实验过程中，发现了很多很多的bug。在训练RNN模型时，由于RNN模型一般将batch_size放在第二个维度(输入、state)。DataParallel会将一个batch的数据切分开来，然后放到多个gpu上，默认按照第一维度进行切分（可以通过dim进行更换）。这里的问题就在于：输入X是我们自己定义的，所以维度可以进行控制。state向量一般是由RNN layer自己生成，所以batch_size必然在第二个
bad interpreter: No such file or directory解决办法 之前用conda创建了一个新环境，但是名字取错了，要改的话只能删了环境重新创。于是我就偷了个懒，直接修改了conda/env/下的文件夹名。结果使用pip、jupyter lab等等的时候出现了bad interpreter: No such file or directory这个问题。结果查询，解决方案如下：pipwhich pip# 修改环境名之前的文件# opt/conda/envs/pythondgnn/bin/pipwhich python# opt/conda/envs/dgnn/b
Linux利用`tzselect`修改时区 查看时区date结果为：Wed Dec 22 12:16:26 UTC 2021其中的UTC表示协调世界时，又称世界统一时间、世界标准时间、国际协调时间，也是格林尼治时间。那我们使用tzselect进行时区的修改（修改为东八区，北京时间），终端输入：tzselect输入4：输入9：输入1：再次输入1：此时查看时间，依然显示时区为UTC，这是什么意思？难道我们的修改没有用？其实是我们的修改还没完成，请注意看上图的文字，我们还需要修改.profile文件才行。于是继.
【论文笔记】U-BERT: Pre-training User Representations for Improved Recommendation 原文作者：Zhaopeng Qiu, Xian Wu, Jingyue Gao, Wei Fan原文标题：U-BERT: Pre-training User Representations for Improved Recommendation原文来源：AAAI 2021原文链接：https://www.aaai.org/AAAI21Papers/AAAI-2116.QiuZ.pdfU-BERT: Pre-training User Representations for Improved Reco
【论文笔记】Recommending Third-party Library Updates with LSTM Neural Networks 原文作者：Phuong T.Nguyen，JuriDi Rocco，RiccardoRubei，ClaudioDi Sipio，DavideDi Ruscio原文标题：Recommending Third-party Library Updates with LSTM Neural Networks原文来源：IIR 2021(Proceedings of the 11th Italian Information Retrieval Workshop 2021)原文链接：http://ceur-ws.o
【论文笔记】Diversified Third-Party Library Prediction for Mobile App Development 原文作者：Qiang He, Bo Li, Feifei Chen, John Grundy, Xin Xia, Yun Yang原文标题：Diversified Third-Party Library Prediction for Mobile App Development原文来源：IEEE TSE 2020原文链接：https://ieeexplore.ieee.org/abstract/document/9043686Diversified Third-Party Library Predi
【论文笔记】Attention is all you need 原文作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit原文标题：Attention is all you need原文来源：NIPS 2017原文链接：https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdfAttention is all you need主流序列转导模型基于复杂的CNN或RNN，包括编码器和解码器。有的模型使
【论文笔记】KGAT: Knowledge Graph Attention Network for Recommendation 原文作者：Xiang Wang，Xiangnan He，Yixin Cao，Meng Liu，Tat-Seng Chua原文标题：KGAT: Knowledge Graph Attention Network for Recommendation原文来源：KDD 2019原文链接：https://arxiv.org/abs/1905.07854本文提出了一种新的推荐方法KGAT，能够根据实体间的高阶关系特征建模，并具有一定的可解释性。以端到端方式对KG的高阶连通性进行了显式建模。递归地从节点的邻居(
【论文笔记】THE SURVEY of REAL TIME OPERATING SYSTEM: RTOS 原文作者：Prasanna Hambarde, Rachit Varma，Shivani Jha原文标题：THE SURVEY of REAL TIME OPERATING SYSTEM: RTOS原文来源：ICESC 2014原文链接：https://ieeexplore.ieee.org/document/6745342THE SURVEY of REAL TIME OPERATING SYSTEM: RTOS操作系统通常由两部分组成：内核态和用户态。最基础的就是内核。内核可以分为几类：单内核
【论文笔记】Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks 原文作者：Suchin Gururangan，Ana Marasović，Swabha Swayamdipta，Kyle Lo，Iz Beltagy，Doug Downey，Noah A. Smith原文标题：Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks原文来源：ACL2020原文链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdfDon’t Stop
【论文笔记】Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding 原文作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova原文标题：Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding原文来源：谷歌AI团队原文链接：https://arxiv.org/pdf/1810.04805.pdf3.2 Bert：Pre-training of Deep Bidirectional Transforme
【论文笔记】Explainable Reasoning over Knowledge Graphs for Recommendation 笔记作者：刘泽鑫原文作者：Xiang Wang，Dingxian Wang，Canran Xu, Xiangnan He, Yixin Cao,Tat-Seng Chua原文标题：Explainable Reasoning over Knowledge Graphs for Recommendation原文来源：AAAI 2019原文链接：https://ojs.aaai.org//index.php/AAAI/article/view/4470Explainable Reasoning ove
【论文笔记】SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions摘要知识图谱嵌入将知识图谱中的实体和关系表示为低维的，连续的向量，从而使知识图谱能够与机器学习模型兼容。尽管有很多知识图谱嵌入的模型，但大多数只涉及事实三元组，实体和关系的补充文字说明并未得到充分利用。本文提出了SSP方法， 联合学习事实三元组和文本描述，建立了二者之间的交互，使用文本描述发现实体、关系的语义相关，提高嵌入的准确性。大量的实
【论文笔记】Unsupervised Embedding Enhancements of Knowledge Graphs using Textual Associations Unsupervised Embedding Enhancements of Knowledge Graphs using Textual Associations摘要知识图谱嵌入对于表示和学习多关系数据是有帮助的，最近嵌入模型表现出从现有的数据库推断新事实的高效性。然而，这些精确的结构数据通常在数量上和范围上有限。因此，为了为了完整优化嵌入，考虑更广泛可用的信息源是重要的，比如文本。这篇文章描述了一个无监督的方法来兼容文本信息通过关联单词的嵌入来增强实体嵌入。该方法并不修改知识图谱嵌入的优化目标，允许
TransH-Knowledge Graph Embedding by Translating on Hyperplanes 翻译 Knowledge Graph Embedding by Translating on Hyperplanes摘要处理把一个大规模的由实体和关系组成的知识图谱嵌入到连续的向量空间中。TransE是最近提出来的一个很有希望的方法，是非常高效的，实现了最先进的预测性能。我们讨论了一些应该在嵌入中考虑到关系的映射属性，比如自反，一对多，多对一和多对多。我们注意到TransE在处理这些属性时做的并不好。一些复杂的模型有足够的能力保持这些映射属性，但在这个过程中牺牲了效率。为了在模型容量和效率中做很好的权衡，我们
python浅拷贝的父对象与子对象 dict_a = {"a": 1,"b": 2,"c":{3, 4}}dict_b = dict_adict_c = dict_a.copy()在上述代码中，修改dict_b会影响dict_a的值，修改dict_a也会影响dict_b的值。对于dict_c，如果修改的是a或者b的值，不会影响dict_c，这里的a，b就是所谓的“父对象”，即第一层键值对；如果修改c的值，则会影响dict_c，因为这里的c属于子对象，也就是第二层的键值对。...
CSS中多个class设置的区别 在css中，我们区分以下写法：/* 第一种① */.classA .classB{ font-size: 28px; color: red;}/* 第二种② */.classA, .classB{ font-size: 28px; color: red;}/* 第三种 ③*/.classB{ font-size: 18px; color: blue;}其中，第一种是为A下的B设置属性。第二种是分别为两个类设置属性。第三种是单独为B设置属性。第一种和第三种的区别是：第
关注
