https://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247509797&idx=4&sn=0f356b8f6397ad6e0743e192ed182ede&chksm=e99e94dcdee91dcad9bc842ed129b27e7cfe649fc3407e21e7e0c05060c7f6daf346d628f189&mpshare=1&scene=23&srcid=0617GtNIERqCMkhtX86AYoQT&sharer_sharetime=1592462563389&sharer_shareid=e86114a67c6fd4cc487612c2aee2695b#rd
通俗易懂:图卷积神经网络入门详解——阅读学习,李社蕾老师荐
作者开篇导读,正中心痛。怀着崇拜和必胜的信念尝试融入,结果不断地给数学跪,给公式跪,给算法跪。正在放弃的边缘不甘心,看到这句——尝试一次放弃一次,尝试一次放弃一次,终于,慢慢理解了。
好吧,期待,我得慢慢理解早日到来。
GCN,首次提出于2017年。
深度学习经典模型:CNN卷积神经网络,RNN递归神经网络。
————————————————————————————————
——引【深度学习】CNN与RNN有什么不同?
https://blog.csdn.net/weixin_42137700/article/details/83241774
CNN如同眼睛一样,是目前机器用来识别对象的图像处理器,RNN则是用于解析语言模式的数学引擎,就像耳朵和嘴巴。CNN迎来快速发展,已成为当今自动驾驶汽车、石油勘探和聚变能研究领域的“眼睛”。在医学成像方面,它们可以帮助更快地发现疾病并挽救生命。
如今,数十亿人也在不知不觉中享受着CNN带来的便利:在Facebook上发布朋友的照片,使用自动标记姓名的功能,同时也让自己的社交活动变得更加顺畅。
RNN正在加速基于语音的计算革命。它们是自然语言处理大脑,可为Amazon Alexa、Google Assistant和Apple Siri提供听力和语音。它们为Google的自动完成功能提供预见性,可以自行填写搜索查询中的行。
卷积层:
在数学中,卷积是一种分组函数。就CNN而言,卷积发生在两个矩阵(以列和行排列的矩形数组)之间,它可以形成第三个矩阵作为输出。
CNN在卷积层中使用这些卷积来筛选输入数据并查找信息。起着数学过滤器的作用,帮助计算机查找图像边缘、明暗区、颜色及其他细节(例如高度、宽度和深度)。一张图像上通常会应用多种卷积层过滤器。
…池化层:池化层通常夹在卷积层之间。它们将用于缩减卷积层所创建的表示的大小,同时减少内存需求,从而实现更多的卷积层。
…归一化层:归一化是一项用于改进神经网络性能和稳定性的技术。它通过将所有输入都转换为均值为0且方差为1,从而使每个层的输入更便于管理。可以将其视为数据的规范化调整。
…全连接层:全连接层用于将一层中的各个神经元连接到另一层中的所有神经元。
CNN可以在这些隐含层中使用一系列过滤器(或神经元),从而优化图像识别效率。CNN 被称为“前馈”神经网络,因为信息是从一层馈送至下一层。
以下是一个简单RNN的典型例子。自助餐厅对每周同一天供应的菜品有严格的时间表,RNN的目的是追踪供应主菜的日期。不妨设想如下:周一为汉堡,周二为炸玉米饼,周三为披萨,周四为寿司,周五则为意大利面。
对于RNN而言,如果将“寿司”(输出)反馈至网络以确定周五的菜品,那么RNN就会知道序列中的下一个主菜是意大利面(因为它知道会有一个顺序,而周四的菜品刚刚完成,因此接下来就应该是周五的菜品)。
另一个示例是句子:我刚跑了10公里,需要来一杯____。人类可以根据过去的经验来猜想如何填空。得益于RNN的记忆功能,它可以预测接下来会发生什么,因为它对类似这样以“水”结束的句子已有足够的训练记忆,完全可以做出解答。
RNN的应用不仅限于自然语言处理和语音识别。它们还可用于语言翻译、股票预测和算法交易。
如今,CNN和RNN已经让应用程序、网络和机器远远超越了视觉和语音能力。没有这两个AI主力军,我们的机器就会无聊之至。
可见,CNN——计算机视觉CV领域的成就,RNN——自然语言处理NLP领域的成就。GNN呢?解决CNN和RNN无法解决或者难以解决的问题:图结构的数据。
基于欧式空间的二维图片或者一维语言序列,结构规则。比如卷积核小窗口在图片上平移卷积提取图片特征,无论移动到哪里,内部结构不发生变化,这样就可以实现参数共享。
而现实中,不规则的拓扑结构、社交网络、知识图谱、化学分子等,语言结构中复杂的树形结构等,微二维图片上的关键点形成的,都是图结构,是无限维度的不规则图结构,这类图结构的数据处理方法之一就是 GCN。
类似于 CNN,GCN作为特征提取器,设计从图数据中提取特征的 方法,提取并使用特征进行图数据的各种利用,比如——节点分类(node classification)、图分类(graph classification)、边预测(link prediction),还可以顺便得到图的嵌入表示(graph embedding)。————————————————————————
GCN的本质:
已知一批图数据有N个节点,每个节点有自己的特征值。可以获得两个矩阵
1.提取N个节点的特征形成NxD的矩阵X
2.邻接矩阵,节点之间的关系形成的NxN维矩阵A
GCN神经网络层,每一层的特征H,对于输入层的话,H就是X。根据邻接矩阵A和单位矩阵I做A+I,得到A波浪。再用A波浪和它的度矩阵D波浪得出一个公式。用这个公式和输入层节点特征的矩阵X以及赋予一定的权重,作为参数赋给非线性激活函数
就可以提取到下一层的特征。经过若干层后,特征从X变成Z,但是节点之间的关系即邻接矩阵经过多层后依然是共享的。
构造一个两层的GCN,介入某一损失函数,就可以做节点分类、图分类、边预测等训练。
————————————————————————
带标签的节点——海量论文数据,每篇论文为一个节点,都有自己的关键词,视为节点特征;同时每篇论文都有自己的研究领域如教育类、机器学习类、医学类等,这些可视为标签。论文之间有相互的引用关系视为邻接矩阵。通过对引用关系和关键词进行多层训练,最后可训练得出节点标签的相关模型。最终拿出一篇论文就知道它是那个领域的。
————————————————————————
为什么GCN的公式是这样子
tkipf.github.io/graph-c
推导解释——GCN每一层的输入都是节点特征矩阵H和邻接矩阵A,直接将这两个做内积,再乘以一个参数矩阵W,用激活函数激活,就形成一个简单的神经网络层。
对邻接矩阵的处理1——但是因为邻接矩阵的对角都是0,和特征矩阵内积相当于将邻接矩阵做了加权和,节点特征的值成为了邻接矩阵的权,自身的特征被忽略。为避免这种情况,可以先给A加上一个单位矩阵I,单位矩阵。它是个方阵,从左上角到右下角的对角线(称为主对角线)上的元素均为1。除此以外全都为0。这样,使得邻接矩阵的对角元素变成1。
对邻接矩阵的处理2——就算如此,因为邻接矩阵A没有经过归一化处理,这样难以将数据限制在我们需要的范围内。通过归一化处理,可以将数据变得具有可比性,但又相对保持数据之间的关系。使得原来很难在一张纸上做出的图更方便给出图上的相对位置。因此,为了避免邻接矩阵和特征矩阵内积相乘改变特征原本的分布,需要我们对A做一个标准化处理。首先,给A乘以度矩阵上标-1,进一步将其拆为两个度矩阵的上标-1/2,得到对称且归一化的矩阵——(度矩阵D上标-1/2)乘以(对称矩阵A)乘以(度矩阵D上标-1/2)。
通过以上处理后,即使不训练,完全用随机初始化的参数W,GCN提取出来的特征就十分优秀了。
——————————————————————————
图的一些基本知识:图,邻居,度矩阵,邻接矩阵
https://blog.csdn.net/luzaijiaoxia0618/article/details/104718146/
关联矩阵,拉普拉斯矩阵
https://blog.csdn.net/luzaijiaoxia0618/article/details/104720948
opencv笔记(二十八)——OpenCV中矩阵的归一化
https://blog.csdn.net/qq_37764129/article/details/82313507