Openmmlab寒假训练营(一)

Openmmlab寒假训练营(一)

一个利用Pytorch从模型定义到训练模板的小总结

1.总览：

2.loss.backward()自动求导

	loss=0.5*(Y-X.T@w-b)**2
	loss=loss.sum()
	#其中loss对w和b的导出存储在w.grad和b.grad中
	loss.backward()

3.torch.nn.functional模块

提供一些基础的算子操作函数，如卷积、池化、非线性激活等

4.torch.nn.Module模块

一个模型的定义模板

	class MyNet(nn.Module):
		def __init__(self):
			......
				
		def forward(self,x):
			......
			return ...

5.torch.optim优化器模块

优化算法的定义例子:

		param=net.parameters()
		opt=SGD(param,lr=...)

6.torch.utils.data和torch.util.dataloader

数据遍历在迭代训练中的例子：

		for i,item in enumerate(dataloader):
			data,label=data_batch
			out=model(data)
			loss=loss_fn(out,label)
			loss.backward()
			opt.zero_grad()
			opt.step()

7.计算机视觉的数据增强模块 torchvision.transforms

		transforms.Compose([增强方法1,...,增强方法2])

8.其他模块

比如 分布式训练模块、预训练模型库等