神经网络
文章平均质量分 88
NockinOnHeavensDoor
blog已不用~谢谢关注~
展开
-
10_introduction_to_artificial_neural_networks
introduction to artificial neural networks# To support both python 2 and python 3from __future__ import division, print_function, unicode_literals# Common importsimport numpy as npimport os原创 2018-01-05 19:13:03 · 678 阅读 · 0 评论 -
VAE|VGAN
https://juejin.im/post/598972735188256de4693951https://cloud.tencent.com/developer/article/1096650我们想要的是构建一个生成式模型,而非仅仅是“记忆”图像数据的模糊结构。除了像前面那样从已有图像中编码出潜在向量,我们还不知道如何创造这些向量,也就无法凭空生成任何图像。给编码网络增加一个约束,迫使它...原创 2018-10-24 17:44:11 · 1165 阅读 · 0 评论 -
Semi-Supervised 图卷积
简单的例子:https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-conv...原创 2019-03-18 13:58:10 · 2515 阅读 · 20 评论 -
《MolGAN: An implicit generative model for small molecular graphs》了解
MolGAN论文的代码原创 2019-03-23 09:27:57 · 2986 阅读 · 7 评论 -
pytorch_geometric:message passing networks网络
基类 message passing layers描述:分层聚合每一个节点与周围节点及关联边信息的通用函数。xi′=γΘ(xi,□j∈N(i) ϕΘ(xi,xj,ei,j)), \mathbf{x}_i^{\prime} = \gamma_{\mathbf{\Theta}} \left( \mathbf{x}_i, \square_{j \in \mathc...原创 2019-04-02 19:12:21 · 4983 阅读 · 8 评论 -
整流线型函数
Rectified Linear Unit (PReLU)ReLU:正的值会通过ReLU,所有的负值都设置为零。优点:ReLU的训练速度比Tanh快得多,因为它在1的时候没有饱和。LReLU :设置了一个参数,它用一个较低的斜率替换了[−∞,0][-∞,0][−∞,0]域中的零部分。优势:为什么使用LReLU :恒定的零梯度也会导致缓慢的学习,此外,其中一些神经元甚至可能不被...翻译 2019-04-16 14:41:10 · 601 阅读 · 0 评论 -
DEEP GRAPH INFOMAX
ABSTRACT从摘要得出本文特点:Deep Graph Infomax (DGI)是无监督学习;用已有的GCNs来做:最大化邻近表示(patch representation)与对应的高阶图摘要(high-level summaries of graphs)之间的互信息(MI);与之前的GCNs的不同之处是:DGI目标函数与之前的随机游走目标函数不一样。到底怎么不一样继续。。。...原创 2019-04-17 10:30:05 · 5936 阅读 · 1 评论 -
重看《node2vec》
唠叨前提:俗话说欲速则不达,算了是我这脑力不行;不写出来总觉得记忆不是很有条理,啊,没办法。前几天电话面了阿里,问道一些玄学问题,都是训练神经网络相关的,感觉自己没回答好,追更到底,还是自己的思路不清晰造成的。然后回顾研究生这2年,对于培养自己的科研素养真的极少,因为几个原因:独自干自己的,不与外界接触;对于大脑好使的人自然不在话下,但是我这样的结果,看样子并不好,没人指路,自己兜圈;没...原创 2019-04-26 20:17:20 · 1054 阅读 · 1 评论 -
训练NN技巧
神经网络的训练依赖于问题和数据。Designing and training a network using backprop requires making many seemingly arbitrary choices such as the number and types of nodes, layers, learning rates, training and test sets...原创 2019-05-04 12:46:48 · 428 阅读 · 0 评论 -
pytorch_geometric:Planetoid数据集合
torch.utils.data.DatasetDataset是数据集的抽象类,需要实现__getitem__ 和__len__:class Dataset(object): """An abstract class representing a Dataset. All other datasets should subclass it. All subclasses sh...原创 2019-04-20 16:17:32 · 5583 阅读 · 0 评论 -
Batch Training
gradient descentStochastic Gradient Descent, or SGD for short, is an optimization algorithm used to train machine learning algorithms;The job of the algorithm is to find a set of internal model para...原创 2019-05-08 16:26:14 · 485 阅读 · 0 评论 -
Graph Attention Networks
Introduction 针对图结构数据,本文提出了一种GAT(graph attention networks)网络。该网络使用masked self-attention层解决了之前基于图卷积(或其近似)的模型所存在的问题。在GAT中,图中的每个节点可以根据邻节点的特征,为其分配不同的权值。GAT的另一个优点在于,无需使用预先构建好的图。因此,GAT可以解决一些基于谱的图神经网络中所具有的问题...原创 2018-07-23 08:29:12 · 2265 阅读 · 1 评论 -
RGCN:record:
这里的每一个实体的嵌入XiX_iXi更新公式是把每一个关系rrr下的所有邻居节点的嵌入XjX_jXj乘以该关系矩阵Θr\Theta_rΘr的正则化拿出来全部求和,然后与该实体本身的嵌入XiX_iXi相加:文章公式:变换公式:基分解:class RGCNConv(MessagePassing): in_channels (int): Size of eac...原创 2019-07-19 16:52:18 · 2183 阅读 · 0 评论 -
wasserstein 距离
注明:直观理解而已,正儿八经的严谨证明看最下面的参考。Earth Mover’s Distance推土机距离的例子:有一堆土的分布是 PrPrP_r, 其随机变量是xxx,现在要求把这堆土挪动成为分布 PgPgP_g ,其随机变量是yyy(图上是PθPθP_\theta),这样做的方法很多,那么做最小功的挪动该是什么?这是一个优化问题对应着的最优解是:这里Π(Pr,Pg...原创 2018-08-25 20:47:32 · 17787 阅读 · 10 评论 -
Word2vec tutorial implementation
基于这篇教程写的代码分析:http://adventuresinmachinelearning.com/word2vec-tutorial-tensorflow/The Word2Vec methodology two components to the Word2Vec methodology. * The first is the mapping of a high原创 2018-01-08 20:31:22 · 581 阅读 · 0 评论 -
12-卷积网络基本概念及tensorflow代码+pytorch代码
convolutional neural networks一、卷积神经网络的结构A. 卷积层(Convolutional Layer) 我们知道对于给定的一幅图像来说,给定一个卷积核,卷积就是根据卷积窗口,进行像素的加权求和。深度学习中的卷积神经网络卷积核是未知的,我们训练一个神经网络,就是要训练得出这些卷积核,而这些卷积核就相当于我们学单层感知器的时候的那些参数W,因此你可以把这...原创 2018-04-15 10:20:48 · 605 阅读 · 1 评论 -
变分自编码器记录与tensorflow代码及pytorch代码分析
Written by title date (我的github地址)zhengchu1994 《Tutorial on Variational Autoencoders》 2018-05-13生成模型生成模型,即,一个数据分布为P的模型,P的分布和Pgt(X)Pgt(X)P_{gt}(X) 几乎相似(gt应该是生成分布的意思(generat...原创 2018-05-17 15:13:11 · 2477 阅读 · 0 评论 -
条件变分自编码器CVAE
Written by title date zhengchu1994 《Tutorial on Variational Autoencoders》 2018-05-19intuition给定字符’2’,原始的VAE并不能生成数字为2的手写图像,原始的VAE直接对隐变量zzz和数据XXX建模;而CVAE对定义在条件概率下的隐变量和数据z建...原创 2018-05-19 11:16:31 · 12383 阅读 · 3 评论 -
GANs:原始生成对抗网络论文分析及tensorflow、pytorch代码解析
先给出记录的原论文笔记。- 生成式对抗网络 GAN (Generative adversarial networks):由一个生成器(generator)和一个判别器(discriminator)构成. 生成器捕捉真实数据样本的潜在分布(latent distribution), 并生成伪造的数据样本; 判别器是一个二分类器, 判别输入是真实数据还是生成的样本. 生成器和判别器在作者原文中...原创 2018-05-07 08:17:47 · 2403 阅读 · 0 评论 -
tensorflow API:tf.nn.softmax_cross_entropy_with_logits()等各种损失函数
Loss function* 在机器学习中,loss function(损失函数)也称cost function(代价函数),是用来计算预测值和真实值的差距。* 然后以loss function的最小值作为目标函数进行反向传播迭代计算模型中的参数,这个让loss function的值不断变小的过程称为优化。- 设总有N个样本的样本集为(X,Y)=(xi,yi)(X,Y)=(...转载 2018-04-28 21:52:27 · 2317 阅读 · 0 评论 -
条件生成对抗网络记录与tensorflow代码及pytorch代码分析
Written by title date NockinOnHeavensDoor 《Conditional Generative Adversarial Nets》 2018-5-16 06:38:33公式及结构在GAN中的两个神经网络分别是生成器G(z)G(z)G(z) 和判别器 D(X)D(X)D(X),CGANs目的是给这两个网络都...原创 2018-05-16 08:39:52 · 1266 阅读 · 0 评论 -
11-训练深度神经网络的一些技巧
梯度消失和梯度爆炸解决办法:Xavier初始化和He初始化ReLU的优点和缺点隐层中使用激活函数的策略Batch Normalization梯度修剪梯度消失和梯度爆炸在反向传播算法计算cost函数的对每个参数的梯度误差之后,在更新参数的时候,随着越来越到低层,梯度越来越小, 最后导致lower layer的连接权重最后变化很小,甚至不变。然后训练持续下去一直得不...原创 2018-06-11 16:51:08 · 748 阅读 · 0 评论 -
15-tensorflow实现各种自编码器及技巧
用编码器做PCA隐层的特点:线性激活函数代码:预先声明的函数和包# To support both python 2 and python 3from __future__ import division, print_function, unicode_literals# Common importsimport numpy as npimport osimpor...原创 2018-06-05 07:56:07 · 894 阅读 · 0 评论 -
简单理解CNNs的结构,转置卷积 ,附上tensorflow实现
Written by title date zhengchu1994 《A guide to convolution arithmetic for deep learning》 2018-05-26 15:46:30仿射变换(affine transformations)定义:即向量乘上矩阵产生的输出加上bias之后投进激活函数。缺...原创 2018-06-05 08:27:50 · 1104 阅读 · 0 评论 -
InfoGAN
Written by title date zhengchu1994 《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets》 2018-5-23 10:39:16启发在原始GAN中的两个神...原创 2018-05-24 14:50:38 · 1358 阅读 · 0 评论 -
tensorflow实现正则化 来避免训练过拟合
L1 和 L2 正则化对神经网络中之后连接权重做限制,比如对只有一个隐层的神经网络做L1正则:reset_graph()n_inputs = 28 * 28 # MNISTn_hidden1 = 300n_outputs = 10learning_rate = 0.01X = tf.placeholder(tf.float32, shape=(None, n_inputs),...原创 2018-06-13 20:49:50 · 4877 阅读 · 0 评论 -
14-循环神经网络及tensorflow
Recurrent Neural Networks循环神经网络很像前向神经网络,但是不同的是神经元有连接回指。循环神经网络用LSTM和GRU单元解决梯度爆炸\消失问题循环神经元(Recurrent Neurons)如图左边,一个循环神经元可以把自己的输出,作为自身的输入,但是这个输入是上一个时间戳(previous time step)的输出结果,如果照着时间戳展开(unro...原创 2018-06-18 17:15:09 · 564 阅读 · 0 评论 -
DGL中的GAT
DGL自带的很多函数看GAT之前,先看看DGL库自带的一些函数,遵循消息传播范式,DGL自带了很多消息函数和传播函数,都在Builtin message passing functions中,总的来说,DGL由两个api组成消息传播:send(edges, message_func) :for computing the messages along the given edgesrecv(...原创 2019-07-25 16:58:00 · 2702 阅读 · 3 评论