深度学习
大笨熊。。。
多看,多记,多学。
展开
-
深度学习模型中的学习率调整
非常关键------------------深度学习模型中的学习率调整学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,大多数优化算法(SGD、RMSprop、Adam)对其都有所涉及。学习率越小,损失梯度下降的速度越慢,收敛的时间更长,如公式所示:new_weight= existing_weight — learning_rate * gradient(新权值 = 当前权值 – 学习率 × 梯度) 如果学习率过小,梯度下降很慢,如果学...转载 2020-06-29 10:24:12 · 3707 阅读 · 0 评论 -
Tanh,Sigmoid 和Relu 激活函数使用介绍
首先解释为什么要做:再解释怎么做:从数学上来看,Sigmoid函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上,有很好的效果。在具体应用中,tanh函数相比于Sigmoid函数往往更具有优越性,这主要是因为Sigmoid函数在输入处于[-1,1]之间时,函数值变化敏感,一旦接近或者超出区间就失去敏感性,处于饱和状态,(3) ReLU第一,采用sigmoid等函数,算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计转载 2020-06-20 17:30:29 · 1436 阅读 · 0 评论 -
卷积神经网络中激活函数的意义
激活函数的意义:在生物意义上的神经元中,只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候,后面的神经元才会被激活。简单的说激活函数的意义在于判定每个神经元的输出有没有达到阈值。放在人脸识别卷积神经网络中来思考,卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准,就输出0,表明这种特征提取方式(卷积核w)不能在该块区域提取到特征,或者说这块区域的这种特征很...转载 2020-03-30 16:05:34 · 5989 阅读 · 1 评论 -
softmax和softmax loss详细解析
本文转载于以下博文地址:https://blog.csdn.net/u014380165/article/details/77284921如有冒犯,还望谅解!我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caffe等),训练一个模型变得非常简单...转载 2019-05-10 15:01:17 · 21935 阅读 · 6 评论 -
《Conditional Network Embeddings》论文分析
《Conditional Network Embeddings》发表在ICLR2019上论文解读:1.论文思路:考虑到现有嵌入方法所面临的一个困难是,某些网络由于其结构特性:比如(近似)多分性、一定程度的分布性、协调性等,从根本上难以嵌入。为了克服这一问题,本文在网络嵌入领域引入了创新的概念,并提出创建条件网络嵌入(CNEs);最大限度地增加与给定结构属性相关的信息(例如节点度、块密度...原创 2019-04-30 15:23:44 · 662 阅读 · 0 评论 -
注意力机制深度解析
注意力机制深度解析转载于知乎,如有冒犯,还望谅解!链接:https://www.zhihu.com/question/68482809/answer/264632289另外文中转载有几处图片显示不出来,还望查看原文链接,谢谢!注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意...转载 2019-05-08 15:55:18 · 734 阅读 · 0 评论 -
先读懂CapsNet架构然后用TensorFlow实现:全面解析Hinton提出的Capsule
先读懂CapsNet架构然后用TensorFlow实现:全面解析Hinton提出的Capsule本文转载于机器之心文章,如有侵犯请告知,谢谢!原文地址 :https://www.jiqizhixin.com/articles/2017-11-05本文是机器之心的第三个GitHub项目,旨在解释CapsNet的网络架构与实现。为了解释CapsNet,我们将从卷积层与卷积机制开始...转载 2019-04-21 17:26:55 · 331 阅读 · 0 评论 -
《CapsE—Graph Classification via Capsule Neural Networks》解读
《Capsule Neural Networks for Graph Classification using Explicit Tensorial Graph Representations》论文解读论文地址:https://arxiv.org/abs/1902.083991.论文思想:提出一个模型通过对给出的数据集中每个图提取固定大小的张量信息,再利用胶囊网络进行图分类。本文是基于P...原创 2019-03-28 11:10:18 · 2480 阅读 · 0 评论 -
SENet和SKNet原理分析
SENet和SKNet原理分析:(转载于PaperWeekly论文解读)地址:https://mp.weixin.qq.com/s/ao7gOfMYDJDPsNMVV9-Dlg1.SENet解析:SKNet解析 :转载 2019-03-28 09:40:29 · 3880 阅读 · 0 评论 -
《HARP-Hierarchical Representation Learning for Networks》论文解读
《HARP-Hierarchical Representation Learning for Networks》论文解读1.论文思路:本论文遵循的是一个元策略提身网络嵌入的效果。想法是找到一个更小的图能够近似化原始图的全局结构,然后对这个简化的图进行初始化向量表示,以便更好的叠加到原始图的表示。然后基于这个想法提出:将图分解为一系列层次,然后将图的一系列层次结构从最初的层次结构嵌入表示一步...原创 2019-04-10 18:11:35 · 1609 阅读 · 0 评论 -
关联性图注意力网络:Relational Graph Attention Networks(ICLR2019)
Relational Graph Attention Networks(ICLR2019)关联性图注意力网络论文地址:https://openreview.net/forum?id=Bklzkh0qFm¬eId=HJxMHja3Y7解析:这篇论文整合了GCN+Attention+Relational三个内容来实现网络的节点表示进行节点分类和图分类任务,论文思路很简单,但是...原创 2019-03-27 19:48:43 · 10124 阅读 · 21 评论 -
深度可分离卷积操作的理解(depthwise separable convolution)
深度可分离卷积操作的理解:(转载于博客园)地址:https://www.cnblogs.com/adong7639/p/7918527.htmlMobileNet模型的核心就是将原本标准的卷积操作因式分解成一个depthwise convolution和一个1*1的pointwise convolution操作。简单讲就是将原来一个卷积层分成两个卷积层,其中前面一个卷积层的每个filter...转载 2019-03-30 12:03:33 · 1761 阅读 · 1 评论 -
胶囊图神经网络(CapsGNN)
胶囊图神经网络(CapsGNN)解析:通过将Hinton提出的胶囊神经网络与图神经网络进行结合,可以利用胶囊网络中动态路由机制更好的对图神经网络中提取的节点特征进行融合,能更好的进行图节点向量化表示,以达到后面完美的任务实现效果。具体实现过程见下论文。(本人近期正在做的一个论文思路,无奈今天看到南洋大神将这个思路实现了并发在2019ICLR顶会上 ,诶。。。加油再继续干了!!!)论...原创 2019-03-26 15:25:32 · 10024 阅读 · 10 评论 -
从入门到精通:深度分析卷积神经网络
从入门到精通:深度分析卷积神经网络(转载):https://www.jiqizhixin.com/articles/2016-08-01-3源转载于机器之心的博客,如有冒犯,请告知,谢谢!转载 2019-03-18 21:39:20 · 266 阅读 · 0 评论 -
从入门到精通:全面解析Hinton提出的Capsule(附TensorFlow代码实现分析)
全面解析Hinton提出的Capsule(附TensorFlow代码实现分析)转载:https://blog.csdn.net/uwr44uouqcnsuqb60zk2/article/details/78463687源转载于机器之心的博客,如有冒犯还望告知,谢谢!...转载 2019-03-18 21:35:03 · 572 阅读 · 0 评论 -
胶囊网络(CapsulesNet)理解
胶囊网络(CapsulesNet)理解:一.回顾CNN:CNN网络层级结构CNN网络一共有5个层级结构:输入层 卷积层 激活层 池化层 全连接FC层 1.输入层 与传统神经网络/机器学习一样,模型需要输入的进行预处理操作,常见的3中预处理方式有: 去均值 归一化 PCA/SVD降维等 2.卷积层 局部感知:人的大...原创 2019-03-16 17:15:48 · 12788 阅读 · 0 评论