学习笔记2021.5.31

学习笔记2021.5.31

1
os.walk(路径)返回三元组(root,dirs,files)
root 所指的是当前正在遍历的这个文件夹的本身的地址
dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)

2
os.path.join(path,name):连接目录与文件名

3
设置 torch.backends.cudnn.benchmark=True 将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。适用场景是网络结构固定（不是动态变化的），网络的输入形状（包括 batch size，图片大小，输入的通道）是不变的，其实也就是一般情况下都比较适用。反之，如果卷积层的设置一直变化，将会导致程序不停地做优化，反而会耗费更多的时间。

4
gradient descent 的几种提高方法：
（1）momentum（惯性）
（2）Root mean Square (adagrad)； RMSProp 引入参数α
（3）learning rate scheduling: Learning rate decay（学习率随时间下降）; Warm up（先增后降）