G1D7-云计算与虚拟化技术&pagerank算法&作图&GNN@LAB0&Intriguing properties of neural networks&算法&美亚2021个人赛&ATP论文@TT-CSDN博客

本文链接：https://blog.csdn.net/weixin_45252975/article/details/127743870

一、虚拟化技术与云计算

上数据挖掘课，觉得好玩，查一查
https://www.zhihu.com/question/22793847

二、pagerank算法

在做gnn的lab，复习一下~看一下alpha是什么。
参考：
https://www.cnblogs.com/LittleHann/p/9969955.html

https://zhuanlan.zhihu.com/p/133233438

CS224w slides

三、作图

emm又是maplotlib
1、plt.xticks用法
这里面的例子还不错~tick是坐标大小，但是不是坐标label
在这里插入图片描述

https://www.pythonpool.com/matplotlib-xticks/
给刻度，和名称
直接给刻度，不给名称
plt.xticks( [] )：不显示横坐标
在这里插入图片描述
https://blog.csdn.net/weixin_48419914/article/details/121672210

2、plt.xlabel用法
在这里插入图片描述

      plt.xlabel((f'Epoch: {epoch}, Loss:{loss.item():.4f}\n'
          f'Trainig Accuracy:{accuracy['train']*100:.2f}% \n'
          f'Validation Accuracy: {accuracy['val']*100:.2f}%'
      ),fontsize=16)

看了下图，这里就是单纯的三行label

四、GNN@LAB0

1、tensor detach的原因及用法
h = h.detach().cpu().numpy()

detach()后，生成新变量脱离计算图，此变量没有梯度，但和原变量共享数据。
如果改变新的变量new，再计算old的梯度，会报错。

又看到了一个detach_()，其实就是在本身进行操作，将自身的梯度grad_fn设为None,这样就不会和前一个点关联，也就不会计算梯度（requires_grad=False），m变为叶子节点

detach（）生成新的；detach_()把原来的点从计算图取下来。
参考：https://blog.csdn.net/qq_27825451/article/details/95498211

2、plt.scatter用法
在这里插入图片描述
3、pytorch中的维度
第一维度是batch
h[:,0]，为一个batch所有样本的第一维属性

4、item()的用法
loss.item()===》将零维张量变为浮点数

5、nx.spring_layer
Returns:
posdict
A dictionary of positions keyed by node

—今天完成了一部分的lab，打算明天完成lab0。明天需要主要跟进的任务是搞清h到底是什么~~
下午打算先看一下intriguing properties。再完成美亚两年的个人赛

五、Intriguing properties of neural networks

先把昨天的问题copy过来~争取今天解决

1、（1）有什么现实价值——完了之后呢？（2）具体所有unit的实验结果是如何的？可以选出的图片具有哪些特征？
2、在模型之间迁移，说的是模型结构不同的时候，x+r仍旧有效吗

1、（2）
原以为：每一个unit代表了一个feature（nn把factors disentangle）
但现在：发现用不同unit进行混合，也可以代表一个与一个unit相似的feature
So：nn也许并没有disentangle factors到每一个unit，而是将特征们拆解到某一层。
只看图：效果相同，还是横着或者竖着的特征。
在这里插入图片描述

在这里插入图片描述
2、
（1）首先复习一下计算r的公式

在这里插入图片描述
（2）实验概览

回答问题2：cross model指的是不同的超参数（层数、正则化或者初始化）对应实验如下，无论如何，都比高斯分布强。

【问题:明天解决】
1、可是对single unit进行激活，也表示有语义呀。
2、原先认为一个单元代表一个特征，那就是一个数可以代表一个特征吗？后来认为是整个空间代表了很多语义特征的集合体？用词向量【 Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations
in vector space. arXiv preprint arXiv:1301.3781, 2013】作为支撑？
在这里插入图片描述
3、这个发现有什么价值？
4、如何提升resulting models?