第3课-动手学深度学习

卷积神经网络、如何使用Gluon

课程笔记：

#block
nn.block是一个基础的类，可以存放数据、定义forward操作，backward操作系统自动定义
nn.Sequential是一个自定义类，更简单定义网络，通过add方法自动把block线性连接起来（上一次输出给到下一层输入）
	nn.blobk提供灵活的网络定义

#parameters
#serialization
读取模型，在gluon中使用net.save_params/load_params(filename)

#dropout
dropout以一定的概率p丢弃输出，对没有丢弃的输出放大，保证期望不变
使用dropout能剔除一些输出，避免过拟合，比单纯的小神经网络效果好，因为随机性更大
1.靠近输入层的dropout概率较小，在靠后层较大
2.dropout一般在一层的最后，得到输出之后进行dropout操作
chapter_deep-learning-basics/dropout

#深度卷积神经网络（AlexNet）
开山之作，使用ImageNet数据，LeNet的加强版
包含6个阶段，包含多个Conv、Dense

#VGG
Very deep convolutional networks for large-scale image recognition（2016），名字来源于论文作者所在的实验室Visual Geometry Group，
思想：简单的模块化定义来定义网络，重复使用的卷积块来构造网络
	输入不断变小，但是增加channels，来保证信息量

 ​