- 博客(47)
- 收藏
- 关注
RSS订阅原创 含泪整理Windows系统下安装APEX方法
忘了看了哪位大神的帖子，说在第三步cd 到D:\apex-master\apex，于是照做后，执行python.exe setup.py install，结果，一直报错，一直查解决办法，整整一个下午过去了，发现目录错了，只需cd到D:\apex-master。今天被自己傻哭了，对apex不了解，想着跟着网上的教程一步步安装，第四步 python.exe setup.py install。第三步，在虚拟环境中cd到根目录。所以，在查攻略的时候一定要谨慎。就这么多，每一步都没有困难。
2023-04-24 18:12:42
931
原创 .gz文件如何解压缩，这个方法很神奇
1、windows下，搜索行输入windows powerShell。2、打开windows powerShell界面。(2)输入tar -zxvf 需要解压的文件名称。3、在文件存储位置会看到解压的文件。(1)cd 到文件存储位置。
2023-04-24 16:42:20
3876
1
原创 windows、Ubuntu双系统下如何设置默认进入哪个系统
有时候为了方便，我们会在机器上装双系统，装上双系统之后往往开机默认进入Ubuntu系统，而我们日常用的较多的反而是windows系统，此时如何设置默认进入windows呢？以下方法亲测可用1进入Ubuntu系统2打开终端3在终端输入如下命令sudo vim /etc/default/grub4在配置文件中的找到GRUB_DEFAULT这一参数，此时它的值是0，把其值改为25保存配置文件6关闭配置文件7在终端输入如下命令sudo update-grub8重启电脑，验
2021-04-08 17:23:24
655
原创 import numpy 时出问题
Importing the numpy C-extensions failed. This error can happen for many reasons, often due to issues with your setup or how NumPy was installed.解决办法：在这里https://github.com/ipython/ipyparallel/issues/349，只需 pip uninstall -y numpy pip uninstall -.
2020-11-26 19:06:38
11037
4
原创 pytorch的debug
pytorch的debug真玄幻，GPU上运行时debug会错误定位，听我的，代码出错时一定要切换到CPU上运行，才能正确定位
2020-11-12 10:46:29
248
原创 双曲图嵌入Low-Dimensional Hyperbolic Knowledge Graph Embeddings
知识图谱嵌入为实体和关系学习低维的向量表示，KG往往表现出分层和逻辑模式，希望这些都能在嵌入空间中表现出来。对于分层结构，双曲空间有很大的优点，它能保持高保真和很小的嵌入维度。但是，现有的双曲嵌入方法均未考虑KG中丰富的逻辑模式。这里介绍一类双曲KG嵌入，它能同时捕获分层和逻辑模式。结合带注意力的反射和旋转来建模复杂的关系模式。IntroductionKGs是表示知识的很有效的数据结构，已应用到很多下流的应用中，如词义消歧、问答系统和信息检索。现实中的知识图谱，如Yago,WordNet, 往往是不
2020-10-26 16:48:44
2553
1
原创 latex如何调整表格中字体大小
在开始表格时注明字体大小\begin{table}[h]\tiny %此处将表格字体设置为tiny，也可以设置为其它大小\begin{tabular}...... %表格内容...\end{tabular}\end{table}Latex 设置字体大小命令由小到大依次为：\tiny\scriptsize\footnotesize\small\normalsize\large\Large\LARGE\huge\Hu...
2020-07-06 16:33:10
8540
原创 conda如何指定某个源下载Python包
在用conda安装python包时，我们知道有一种加速的方式是添加国内pip源，最常见的有：1)http://mirrors.aliyun.com/pypi/simple/阿里云2)https://pypi.mirrors.ustc.edu.cn/simple/中国大3)http://pypi.douban.com/simple/ 豆瓣4)https://pypi.tuna.tsinghua.edu.cn/simple/清华通常我们并不去评价哪个好，哪个不好，但各个源包含的...
2020-06-09 15:36:46
10211
原创 pytorch 如何用pack_padded_sequence和pad_packed_sequence处理变长序列
假设在一个批中我们有以下四个句子做为输入1.I love China.2.The dog is running.3.Be yourself!4.We are family!第一步我们将句子转化为词的id序列
2020-06-05 22:01:01
1035
原创 GAT中的如何实现稀疏注意力
之前一直没看GAT的代码(https://github.com/PetarV-/GAT)，不知道稀疏矩阵下如何实现注意力的，今天看到，恍然大悟，记录于此首先，由于稀疏矩阵参与运算时其中的参数不能自动更新(pytorchz中暂时没有其反向传播函数)，所以GAT自己写了稀疏矩阵(计算完注意力后的邻接矩阵)与稠密矩阵(特征)的乘法class SpecialSpmmFunction(torch....
2020-03-20 22:36:21
2687
2
原创 Jointly Embedding Knowledge Graphs and Logical Rules
在知识图谱中如何建模规则，原文地址：https://www.aclweb.org/anthology/D16-1019.pdf本文讲述了如何将规则和三元组建模到一个统一的空间，三元组和规则同时建模，对文章的主体内容总结如下：方法概述：为了联合嵌入，方法的关键是通过一阶逻辑将三元组和规则统一起来。一个三元组可看作一个基本原子，给定一个逻辑规则，首先用实体集中的实体对其进行实例化，例如对于...
2020-02-11 17:28:37
935
原创 Multi-Channel Graph Neural Network for Entity Alignment
原文地址：https://arxiv.org/pdf/1908.09898v1.pdf0摘要实体对齐往往受结构异质性及有限的种子对的约束。本文提出多通道图神经网络MUGNN来学习面向对齐的知识图谱嵌入，通过多个通道鲁棒地编码两个知识图谱。每个通道通过不同的关系权重模式来编码KG，以同时完成两个任务：基于自注意力的KG补全和跨语言注意力的实体修剪。另外，还在两个KG中进行规则知识的推理和转移...
2020-02-10 16:25:18
1932
原创 幂率分布
在研究网络嵌入时经常会看到幂律分布及无标度，但是以前不太明白这一现象及其产生原因，通过这篇博文，从直观层面上理解了这一分布。这是从别处抄来的，加了点个人理解。以通俗易懂的方式解释了‘幂律分布’现象及其背后的起因，原文的网址https://www.jianshu.com/p/5ae3d2e72266好，我们先来看一组现象，一组常见又特别奇怪的现象:在抖音和快手上，有的短视频能够吸引...
2020-02-06 11:43:23
1853
原创 GRAPH ATTENTION NETWORKS笔记
本文介绍GAT，一个新的在图结构数据上进行操作的神经网络架构。卷积神经网络已经成功地解决图像分类、语义分割、和机器翻译等问题，在这些问题中，数据都是规则的结构。而很多任务包含不规则的数据，比如社交网络、生物网络等，这样的数据往往以图的方式进行表示。已经有很多人试图扩展神经网络以解决任意的图结构数据，早期的工作用RNN处理有向无环图，2005年和2009年提出的GNN能处理更多类型的图结构，如循...
2020-01-31 17:14:51
489
原创 Inductive Representation Learning on Large Graphs阅读笔记
1 摘要在大图中，低维的节点表示在很多预测任务中都很有用，比如内容推荐和确定蛋白质的功能。但是，在训练嵌入时，现有的方法需要所有的节点都参与（也即现有的方法都是直推式的），不能很好地繁华到不可见的节点上。本文提出GraphSAGE,利用节点的特征信息（如文本属性）来有效地为不可见的节点生成嵌入。不是直接为每个节点训练唯一的嵌入，而是学习一个函数通过采样和聚合节点的邻居特征来产生节点的特征。...
2020-01-30 11:40:32
480
原创 torch.chunk()
将tensor按维度分块，返回一个元组例import torcha = torch.Tensor([[1,2,2],[4,5,6],[3,5,8], [4,6,7]])b = torch.chunk(a,2,dim=0)print(b)
2019-12-19 19:23:06
803
原创 为什么pytorch训练模型时会出现梯度为0的情况
所有前向传播时用到的requires_grad=True的变量必须在同一设备上，所有的变量必须以变量的形式存在，之前我遇到一种情况是我把lstm的输出结果的data取出来参与后面的运算，结果lstm中涉及的所有变量的梯度都是0(None)...
2019-12-18 10:13:33
11462
14
原创 Hyperbolic Nural Networks双曲神经网络
给了神经网络中一些操作的双曲版本的定义，NIPS2018的文章，原文在此：https://arxiv.org/abs/1805.09112双曲空间在机器学习领域获得越来越多的冲力，因为它有很大的容量和它的类似于树的性质。然而，双曲几何的表达能力未能与欧式几何势均力敌，主要原因是目前还没有相应的双曲神经网络层，使得很难在下游任务中使用双曲嵌入。这里几何莫比乌斯gyrovevtor空间和双曲空间庞...
2019-12-12 20:53:47
5704
原创 tf.gather_nd
从一个张量中收集元素tf.gather_nd( params, indices, name=None)举例：import tensorflow as tfa=[[[1,2,3],[4,5,6]],[[1,2,3],[-4,-5,-6]]]x=tf.constant(a)indices=[[0,0],[1,1]]y=tf.gather_nd(a,in...
2019-12-09 20:18:33
171
原创 tf.nn.dynamic_rnn
将一个序列编码为一个向量。输入一批固定长度的特征向量序列(三维)，输出整个序列的特征表示：函数原型为：tf.nn.dynamic_rnn(cell, inputs,sequence_length=None,initial_state=None, dtype=None, parallel_iterations=None,swap_memory=False,time_major=False,s...
2019-12-09 19:51:04
687
原创 torch.nn.Linear()
功能是定义一个线性变换(连同偏置)，即定义一个这样的运算: 例：import torchimport torch.nn as nnlinear=nn.Linear(5,3,bias=True)x=torch.randn(10,5)out=linear...
2019-11-22 10:50:25
1488
原创 sp.triu
功能：取出稀疏矩阵的上三角部分的非零元素例import numpy as npimport scipy.sparse as spX = np.array([[1,0,4],[0,1,0],[1,0,0]])print(X)sX = sp.csr_matrix(X)print(sX)print('-----------------')print (sp.triu(sX))...
2019-11-21 10:24:13
988
原创 Hyperbolic Graph Convolutional Neural Networks
斯坦福出的，双曲空间上的GCN,有点抽象，但还是想啃啃。原文地址：https://arxiv.org/abs/1910.12933v1GCN将图上的节点映射到欧式空间，在映射无标度网络或分层结构时会失真，双曲几何提供了一个解决方案，因为它能保证有很小的失真。但是，将GCN扩展到双曲几何上有很多挑战，因为不清楚如何在双曲空间上定义神经网络算子，如特征转换和聚合。另外，由于输入特征通常是欧式空...
2019-11-19 15:11:49
5172
2
原创 Multi-relational Poincare Graph Embeddings
NIPS2019上的文章（原文在此https://arxiv.org/abs/1905.09791），非欧空间上的知识图谱嵌入，很有意思，做为学习笔记，记录于此。双曲嵌入最近受到很多关注，因为他比欧式空间更准确地、更简洁表示分层数据。然而，多关系知识图谱往往表现出多样性的分层数据，这是现有的双曲模型不能解决的。本文提出在双曲空间的庞加莱球上进行多关系知识图谱嵌入，学习关系特定的参数来对实体嵌入...
2019-11-15 20:39:59
2216
原创 MOFINET
《MOTIFNET: A MOTIF-BASED GRAPH CONVOLUTIONAL NETWORK FOR DIRECTED GRAPHS》之阅读笔记图上的卷积网络最近很火。很多相关技术类比图拉普拉斯矩阵的特征向量和传统傅里叶基之间的相似性，将卷积类比为谱域的乘法。这样得到的谱卷积的一大缺点是对无向图的假设，为了使得拉普拉斯矩阵可以正交分解。本文的工作是提出MotifNet, 通过...
2019-11-08 16:38:42
839
原创 tf.nn.dropout()
tf.nn.dropout()是tensorflow里面为了防止或减轻过拟合而使用的函数，它可以用在输入层、隐层和输出层Dropout就是在训练过程中随机扔掉一部分神经元，这次训练过程中不更新其权值，也不参加神经网络的计算。主要参数说明：tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None):x:输入...
2019-11-03 11:28:22
597
原创 tf.nn.conv2d究竟是如何运作的
其作用是给定一个4维的输入和一个四维的卷积核，计算得到一个四维的卷积结果先看看参数:def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format="NHWC", di...
2019-08-11 12:34:01
191
原创 用图网络做知识图谱实体对齐
本文是对Cross-lingual Knowledge Graph Alignment via Graph Convolutional Networks的深度解读。使用GNN做实体对齐的先锋多语言知识图谱（KG）包含多种语言的结构化知识，是跨语言NLP应用的有用资源，跨语言KG的实体对齐是将实体与它在其他语言的对应实体进行匹配的过程，在多语言知识图谱中丰富跨语言链接的一个重要途径。本文提出...
2019-06-10 16:52:35
7583
4
原创 混合多种信息的实体链接系统
本文是对论文Mixing Context Granularities for Improved Entity Linking的深度解读这个工作在实体链接上是SOTA的，它融合和实体和指称项的多种信息，将表示多个粒度信息的向量拼接起来对实体和指称项进行学习。这里通过对原文进行细致的解读来了解它都是加了哪些信息。个人认为当我们在自己的研究方向上没有新的idea时，也可考虑将你的研究对象的多种信息融...
2019-06-04 09:33:46
757
原创 tensorflow函数测试之 tf.sequence_mask
功能是产生一个mask张量，该函数的原型是：sequence_mask( lengths, maxlen=None, dtype=tf.bool, name=None)其参数的含义如下：lengths:储存长度的张量，比如我们输入的一批文本中每个文本的真实长度，可以是任意阶 maxlen:最大长度，比如处理文本是我们一般将每个语句的长度设置为语聊中...
2019-05-20 20:05:27
314
原创 tensorflow函数测试之tf.tile
主要功能是对张量自身进行不同阶上的复制其参数如下:tile( input, multiples, name=None)其中input:要处理的张量，可以是任意阶的 说明在哪个方向上进行复制，一阶int型张量，维度等于input的阶数，每一维度上的值是要复制的次数例import tensorflow as tfraw = tf.constan...
2019-05-20 19:53:34
201
原创 Tensorflow函数测试之tf.strided_slice
主要用于截取张量的部分内容。该函数的原型是：strided_slice( input_, begin, end, strides=None, begin_mask=0, end_mask=0, ellipsis_mask=0, new_axis_mask=0, shrink_axis_mask=0, var=No...
2019-05-20 17:41:54
278
原创 Tensorflow函数测试之tf.contrib.layers.embed_sequence
主要在对文档中字符进行初始化embedding时使用，将输入的字符id转换成相应的embedding。该函数的原型是：embed_sequence( ids, vocab_size=None, embed_dim=None, unique=False, initializer=None, regularizer=None, traina...
2019-05-20 16:30:12
1594
1
原创 NLP领域最先使用Attention的论文Neural Machine Translation By Jointy Learning To Align And Translate解读
Neural Machine Translation By Jointy Learning To Align And Translate是Attention机制在NLP领域应用的开山之作，本文是对这篇文章的阅读笔记（未完待续）0 摘要神经机器翻译(NMT)是最近提出来的机器翻译方法，不同于传统的机器翻译方法,NMT的目的是建立一个统一的神经网络使得在此之上可以联合地调节以最大化翻译性能。...
2019-05-15 17:00:06
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人