关于深度学习的一些总结

是馨呀！

于 2022-03-28 21:44:36 发布

阅读量1.6k

点赞数 1

分类专栏：深度学习文章标签：神经网络深度学习 python

本文链接：https://blog.csdn.net/weixin_43466639/article/details/123807251

版权

3 篇文章 1 订阅

订阅专栏

1、Deep Graph Library（DGL）是一个Python软件包，用于在现有DL框架（例如PyTorch，MXNet，Gluon等）之上实现图神经网络模型。DGL将图神经网络的实现简化为声明一组函数。

2、DGL.NN 模块是用户构建GNN图神经网络的基本模块，其中dgl.nn.pytorch.SAGRConv 是GraphSAGE模型中使用的图卷积模块，用这个模块去完成消息传递计算。

3、对于利用DGL构建自定义的GCN，其中核心是消息传递函数，即如何将节点周围的信息融入到当前节点本身。

（1）聚合：聚合的对象、聚合的结果、聚合的方式

（2）聚合函数：

# 主要是利用内置的updata_all进行消息传递，即聚合节点的特征
# 其中有message_func将周围的特征聚合起来生成中间消息m, 然后利用reduce_func将中间消息m和本身的节点特征聚合生成新的节点表示

4、其中为顶点和边自定义特征的表示

# 通过ndata、edata 去访问图的顶点特征，或者是边的特征。
# 为图g设置顶点的特征x
g.ndata['x']
# 为图g设置边的特征y
g.edata['y']

1、GCN是图神经网络，实际上跟CNN的作用一样，就是一个特征提取器，只不过它的对象是图数据。

特征提取：聚合邻居节点的信息，从而去更新自身节点的表示。利用这个新的表示去进行一些任务。

2、GraphSAGE也是用于特征提取，但有以下几点的改进：

（1）不是直接生硬的给出节点的表示，而是去学习节点是如何进行表示的，从而可以对未知的节点进行表示。

（2）改进了采样的方式，不是直接选取所有的节点，而是进行随机采样。并且可以继续进行多阶节点的采样，即不止是一阶的直接相邻的节点。

（3）改进了聚合的方式，有多种聚合方式。其中dgl里面就实现了多种聚合方式（即消息传递方式）。

batch_size：每次拿多少去训练，每次都是不完整的

batch_idx：要进行多少次batch_size的训练。即总的数据 / batch_size

epoch：把数据进行多少次训练，每次都是完整的数据集

1、输入数据x，变成网络能够处理的Tensor类型

2、将数据输入到模型中，得到输出的预测值y。(这是前向传播的过程，模型只需要完成前向传播的过程

3、计算损失loss = 真实y - 预测y

4、反向传播计算得到每个参数的梯度 – loss.backward()

5、定义优化器模块，即利用梯度下降更新参数，从而使loss降到最低。其中学习率决定了梯度下降的快慢。

然后利用多个epoch进行多次训练，不断的进行更新。

模型中的初始化结构方法去声明一些参数，即搭建框架。forward()方法才是真正的数据流，即当丢入数据到模型中时，数据从跟这个方法进入到模型中。

关注