关于pyGCN的理解

NorburyL

已于 2022-05-07 20:58:11 修改

阅读量575

点赞数 2

分类专栏： pytorch 文章标签：深度学习 pytorch 机器学习

于 2022-05-07 20:57:35 首次发布

本文链接：https://blog.csdn.net/sherlocklcy/article/details/124639253

版权

pytorch 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章目录

代码
Q&A

代码

数据集CORA

组成
    2708 paper 
    1433 features 
        1433个词，不包含词频小于10的词
    7 laber
    	Case_Based
		Genetic_Algorithms
		Neural_Networks
		Probabilistic_Methods
		Reinforcement_Learning
		Rule_Learning
		Theory

cora.content
    节点信息
    <paper_id> <word_attributes>+ <class_label>
     例子
        31336	(0 or 1)*1433	Neural_Networks
cora.cites
    节点关系
    <ID of cited paper> <ID of citing paper>
    paper2->paper1
    例子
        35	1033 
        ID为35的论文 被 ID为1033的论文引用

GCN更多信息

http://tkipf.github.io/graph-convolutional-networks/

train.py中的参数

no-cuda
    不使用显卡
fastmode
    每个epoch训练完之后，测试
seed！
    manual_seed
    是一个随机数种子，主要就是为了固定结果，它会让你初始化结果一样，这样的话最终结果就一样了
epochs
    训练的次数
lr
    设置优化器的lr学习率
weight_decay！
    设置优化器的权重衰减（L2 参数损失）
hidden
    隐藏层的特征维度
dropout
    防止过拟合

对应的参数计算对应公式


归一化的 A+I_N = 归一化 \widetilde{A} = \widehat{A} = \widetilde{D}^{-\frac{1}{2}}\widetilde{A}\widetilde{D}^{-\frac{1}{2}}
     adj = array([[0.16666667, 0.        , 0.        , ..., 0.        , 0.        ,
                    0.        ],
                   [0.        , 0.5       , 0.        , ..., 0.        , 0.        ,
                    0.        ],
                   [0.        , 0.        , 0.2       , ..., 0.        , 0.        ,
                    0.        ],
                   ...,
                   [0.        , 0.        , 0.        , ..., 0.2       , 0.        ,
                    0.        ],
                   [0.        , 0.        , 0.        , ..., 0.        , 0.2       ,
                    0.        ],
                   [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
                    0.25      ]])
H^0 = X 归一化的结点的特征集
    features 2708*1433 每个结点有1433个特征

labels 结点的标签
    labels 2708*1 每个结点有一个label 例如 0 表示 Case_Based

idx 结点原始ID 2708
    35      163	
    1033    402

edges 
    边的形式 
        被引用结点原始ID对应的索引163 引用结点原始ID对应的索引402 

公式9 
GCN模型
    def forward(self, x, adj): # 公式9
        x = self.gc1(x, adj) # 2708 * 16
        x = F.relu(x)
        x = F.dropout(x, self.dropout, training=self.training) # 防止过拟合
        x = self.gc2(x, adj)
        x = F.log_softmax(x, dim=1)
        return x

self.gc1(x, adj)
    使用
        def forward(self, input, adj):
        support = torch.mm(input, self.weight)  # GraphConvolution forward。input*weight = H * W
        output = torch.spmm(adj, support)  # adj = \widehat{A}, support = H * W
        if self.bias is not None:
            return output + self.bias
        else:
            return output
    参数
        H^0 = X, 
        adj = \widehat{A}
        W_0 = weights  torch.Size([1433, 16])
                tensor([[ 0.1911,  0.2075, -0.0586,  ...,  0.0339,  0.1205, -0.0353],
                [ 0.1927,  0.0370, -0.1167,  ..., -0.2469,  0.2258, -0.2124],
                [ 0.1930,  0.0416, -0.0812,  ..., -0.1093,  0.1443,  0.0447],
                ...,
                [ 0.1707,  0.2397,  0.0111,  ...,  0.1867, -0.1786, -0.2166],
                [ 0.0162,  0.0835,  0.0571,  ...,  0.2088,  0.1388, -0.1208],
                [-0.0173, -0.2395,  0.0652,  ..., -0.0162, -0.1948,  0.0027]],
               requires_grad=True)
    
        hideen = 16
        bias = tensor([-0.2232, -0.0295, -0.1387,  0.2170, -0.1749, -0.1551,  0.1056, -0.1860,
                    -0.0666, -0.1327,  0.0212,  0.1587,  0.2496, -0.0154, -0.1683,  0.0151],
                   requires_grad=True)
    意义
        是 \widehat{A} * H^0 *  W_0 = [2708,1433]

Q&A

关于优化器自适应矩估计(adaptive moment estimation)

https://pytorch.org/docs/stable/generated/torch.optim.Adam.html?highlight=adam#torch.optim.Adam

参数
    params (iterable) 
        – 可迭代的参数 以优化或 dicts 定义 参数组
    lr (float, optional) 
        – 学习率 (default: 1e-3)
    betas (Tuple[float, float], optional) 
        – 用于计算梯度及其平方的运行平均值的系数（默认值：（0.9，0.999））
    eps (float, optional) 
        – 项 添加到 分母以提高数值稳定性（默认值：1e-8）
    weight_decay (float, optional) 
        – 权重衰减（L2正则化项）的权重因子（默认值：0）
    amsgrad (boolean, optional) 
        – 是否使用论文 On the Convergence of Adam and Beyond 中的该算法的 AMSGrad 变体（默认值：False）
    maximize (bool, optional)
        – 根据目标最大化参数，而不是最小化（默认值：False）

关于优化器中的weight_decay


定义
    在损失函数中，weight_decay是放在正则项（regularization）前面的一个系数，
    正则项一般指示模型的复杂度，
    若weight_decay很大，则复杂的模型损失函数的值也就大。


作用
    调节模型复杂度对损失函数的影响，防止过拟合
    L2 Regularization = weight decay(权重衰减)
    L2范数正则化又叫权重衰减。权重衰减通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制，防止过拟合

关于误差

误差=偏差+方差+噪声之和；
偏差Bias
    度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差Variance
    度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
        高方差，也就是过拟合现象
噪声Noise
    则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；

关于seed的使用

code:
    args.seed = 42
    torch.manual_seed(args.seed) # 固定随机出现的结果
    for i in range(100):
        print(torch.rand(args.seed)) 

output:
    tensor([0.2110, 0.2774, 0.3902, 0.1116, 0.3451, 0.4116, 0.5040, 0.8055, 0.0257,
            0.9064, 0.4957, 0.1972, 0.5427, 0.0463, 0.0589, 0.4129, 0.0712, 0.7272,
            0.9034, 0.2796, 0.3256, 0.4319, 0.1392, 0.7334, 0.6037, 0.4484, 0.1026,
            0.8229, 0.9346, 0.2459, 0.2079, 0.4565, 0.1011, 0.8485, 0.1555, 0.2057,
            0.4573, 0.5372, 0.6468, 0.2077, 0.7972, 0.0364])
    tensor([0.8745, 0.2766, 0.9558, 0.9277, 0.8983, 0.0385, 0.3283, 0.9134, 0.8288,
            0.3350, 0.8755, 0.9949, 0.0481, 0.8819, 0.7185, 0.9360, 0.0205, 0.8779,
            0.9743, 0.2788, 0.9718, 0.8809, 0.8837, 0.1761, 0.8711, 0.1745, 0.5796,
            0.1464, 0.8071, 0.2951, 0.7301, 0.5666, 0.9747, 0.7516, 0.7836, 0.3144,
            0.5695, 0.5139, 0.9900, 0.9229, 0.1805, 0.5648])

##关于pyGCN中的归一化

论文中使用的 归一化  -Symmetric normailzed Laplacian
    名称  对称归一化的拉普拉斯矩阵
    \widetilde{D}^{-\frac{1}{2}}
    \widetilde{A} \widetilde{D}^{-\frac{1}{2}}
    对称矩阵

代码中使用的 简单的 归一化
    名称 随机游走的归一化的拉普拉斯矩阵 -Random walk normailzed Laplacian
    \widetilde{D}^(-1) * \widetilde{A}
    非对称矩阵

解释
    在代码中
    adj是对称的矩阵 乘以 D^(-1) 进行归一化 还是对称矩阵    
    feature不一定是对称的矩阵 乘以 D^(-1) 进行归一化 不一定是对称矩阵
    两种方法等效

关于pyGCN中使用的损失函数

pyGCN中使用的
    nll_loss()

论文中使用
    nn.CrossEntropyLoss
    nn.functional.cross_entropy

原因
    CrossEntropyLoss()=log_softmax() + NLLLoss()

    NLLLoss的输入是一个对数概率向量和一个目标标签.
    它不会为我们计算对数概率.
    适合网络的最后一层是log_ _softmax. 
    损失函数  nn.CrossEntropyLoss()与NLLLoss()相同,唯一-的不同是 它为我们去做softmax.

注意
    链接：https://www.zhihu.com/question/66782101/answer/579393790
    nn.functional.xxx是函数接口，而nn.Xxx是nn.functional.xxx的类封装，
    nn.Xxx和nn.functional.xxx的实际功能是相同的，
    运行效率也是近乎相同。

##关于[:, 1:-1],[i, :],[:, 0],[:, -1]

import numpy as np
X = np.array([[0,1,2,3],[4,5,6,7],[8,9,10,11],[12,13,14,15]])  # 定义二维数组
print(X[:,0])  # 取数组X 二维数组中每一个的0号下标对应的值 [0 4 8 12]
print(X[1,:])  # 取数组X一维数组中的第一组全部数值  [0 1 2 3]
print(X[:,1:3])  # 取所有数据的第1列到3-1列数据，从第0列开始计算,结果如下：
'''
[[1 2]
 [5 6]
 [9 10]
 [13 14]]
'''

##关于两层隐藏层
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qEVgYO4F-1651928093995)(figure.png)]

训练集、验证集和测试集，

这三个集合不能有交集，常见的比例是8:1:1
训练集
    训练集用来训练模型，即确定模型的权重和偏置这些参数，通常我们称这些参数为学习参数。

验证集
    用于模型的选择，不参与学习参数的确定，
    没有参与梯度下降的过程。为了选择超参数，比如网络层数、网络节点数、迭代次数、学习率这些都叫超参数。
    比如在k-NN算法中，k值就是一个超参数。所以可以使用验证集来求出误差率最小的k。
测试集
    而仅仅使用于模型的评价。