每日一问及解答——机器学习，图神经网络相关

发现自己基础知识还没有完全建立起来，看论文和具体方法总是似懂非懂，读完之后没多久就忘了。所以决定做一个每日一问，学习的同时提出疑问然后去找解答，争取每天解决一个小疑惑。

1什么是循环神经网络和卷积神经网络

基础概念的讲解，简单易懂，可以对RNN和CNN有大概的认识和理解。
https://blog.csdn.net/Double2hao/article/details/84451405

2为什么要进行图神经网络（GNN）学习（有什么优势）

http://m.elecfans.com/article/1484258.html
总结:
1.相比传统神经网络，GNN能够处理结构不规则的非欧几里得空间的图数据。
2.能够通过节点和边的连通，高效地利用样本实例之间的结构性特征，挖掘样本间的潜在联系
3.图神经网络结构和人类脑神经结构很像，研究者们认为GNN有望推动人工智能向“认知智能”阶段发展，也就是让机器能学会思考和理解，实现真正智能

3什么是傅里叶变换

图像处理课堂上讲到这部分，发现理解的不透彻。
知乎上找到的解答，非常之清晰。
https://www.zhihu.com/answer/1119070975

4什么是损失函数交叉熵

文献中的损失函数经常会使用交叉熵函数，所以需要深入理解一下,CSDN上找的讲解，比较详细。
Link

1. 介绍了交叉熵损失函数的数学原理和推导过程
2. 从不同角度介绍了交叉熵损失函数的两种形式，第一种形式在实际应用中比较常见，例如神经网络等复杂模型；第二种多用于简单的逻辑回归模型
3. 介绍了多分类交叉熵
4. 作者还在第六部分放了一个链接，用于理解交叉熵概率分布之间的差异性，其中还包括了对KL散度的介绍

5什么是归一化和正则化

标准化和归一化，找的视频讲解，作为科普类知识，可以对概念有个直观的理解，但深入理解还需要找其他资料
【【小萌五分钟】机器学习 | 数据预处理之特征缩放: 归一化(Normalization)&标准化(Standardization)-哔哩哔哩】Link
正则化
【【机器学习 面试题】为什么正则化可以防止过拟合？为什么L1正则化具有稀疏性？-哔哩哔哩】Link

6什么是上采样和下采样

这个问题是针对图像上的，下采样可理解为缩小图片，上采样可理解为放大图片但同时进行填充以便避免放大图像带来的像素损失。
图像上的上采样和下采样：
Link

机器学习中的下采样：
Link

7Transformer和图神经网络

最近听大家说transformer很热，也可以和图神经网络结合，所以想着了解一下
Link

8激活函数Relu

阅读文献的过程中发现许多模型用Relu作为激活函数，主要原因有:
1.Relu计算起来相对sigmod更加简单
2.Relu具有稀疏性，能够缓解过拟合
3.在反向传播过程中不容易出现像sigmod函数的梯度消失问题
Link

9常用激活函数的总结和比较

常用激活函数Sigmoid & Softmax & ReLU& Tanh的整理和总结
Link

10什么是残差网络

11什么是对比学习