![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 57
latency_
这个作者很懒,什么都没留下…
展开
-
神经网络参数优化方法
神经网络基于梯度下降的参数优化方法总结原创 2022-05-10 19:55:30 · 650 阅读 · 0 评论 -
GAT论文阅读笔记-源码解读
图注意力网络论文:GRAPH ATTENTION NETWORKS. ICLR 2018原创 2022-01-07 11:38:00 · 622 阅读 · 0 评论 -
图网络入门
目录图网络基础知识Graph EmbeddingGCNGAT图网络基础知识图网络的应用场景有很多,目前在工业界的主要应用是在推荐和风控领域,其他包括社交网络、交通网络、化学分子、3D点云等也都有一些应用。关于图这种数据结构的基础知识:一张图又节点和边组成,边可以是有方向的,也可是无方向的,因此图可以分为有向图和无向图。图的基本属性:度(degree),连通分量,图直径,度中心性,特征向量中心性,节点连接性(betweenness),节点中心性(closeness),pag原创 2022-01-05 16:13:36 · 3449 阅读 · 0 评论 -
Batch Normalization
神经网络BN操作总结整理原创 2021-06-04 18:36:57 · 634 阅读 · 0 评论 -
RNN、LSTM、GRU
RNN、LSTM、GRURNNLSTMRNNrecurrent neural network, 循环神经网络更多应用于序列数据的处理中,网络参数共享是RNN的一个重要特点。RNN结构示意图如下:下面我们以具体的应用场景进行展开描述。例如在文本分类问题中,输入的一句话可以看作是一个序列,输出为该条语句的类别标签。此时,RNN 的网络结构为:其中,xix_ixi表示语句中的一个单词,输出Y为类别标签。下面我们来看隐藏层单元中的运算,hih_ihi表示了每一个隐层单元的状态:hi=ϕ(Whh原创 2021-05-19 18:56:05 · 306 阅读 · 0 评论 -
深度学习框架 动态图 VS 静态图
# 深度学习框架 动态图 VS 静态图不管是动态图还是静态图,他们都是计算图,计算图是描述运算的有向无环图,计算图由节点和边构成,节点表示数据,可以是矩阵、向量、张量等,边表示运算,如加减乘除卷积等。## 计算图的优点让运算流的表达更加简单。方便求导计算梯度。上图表示 y = (w+x)*(w+1) 的计算图,如果需要计算y对w的导数,则需要反向从y找到所有到w的路径,每条路径上利用链式求导法则计算偏导数,并将所有路径的偏导数相加就可以得到y对w的导数。叶子节点是用...原创 2021-05-09 18:44:06 · 851 阅读 · 0 评论 -
深度学习框架 动态图 VS 静态图
深度学习框架 动态图 VS 静态图不管是动态图还是静态图,他们都是计算图,计算图是描述运算的有向无环图,计算图由节点和边构成,节点表示数据,可以是矩阵、向量、张量等,边表示运算,如加减乘除卷积等。计算图的优点让运算流的表达更加简单。方便求导计算梯度。上图表示 y = (w+x)*(w+1) 的计算图,如果需要计算y对w的导数,则需要反向从y找到所有到w的路径,每条路径上利用链式求导法则计算偏导数,并将所有路径的偏导数相加就可以得到y对w的导数。叶子节点是用户创建的变量,如上图中的w和x,在p原创 2021-05-11 11:58:53 · 1254 阅读 · 0 评论