让机器从数据中学习的步骤:收集数据、定义模型、训练(寻找最佳参数,达到最高正确率)、预测
课程讲解了CNN的几种重要的模型,以及降低模型参数量和计算量的方法(降低输入输出通道数、减小卷积核的尺寸)
问题收集:
1、为什么现在的大模型消耗这么多资源,人脑却这么节能,有什么可能的原因吗?
研究Ai的耗能问题是个很好的课题
2、数据集标注不清会使大模型效果比小模型效果差吗?
3、attention is all you need 这篇论文是transformer的开山之作,想详细了解transform,可以阅读这篇论文。
4、在模型训练过程可以观察什么,怎么知道是否在进行有效的训练?
观察训练集/测试集上的损失函数值,震荡情况,是否非常波动,学习率是否在逐渐降低。子豪兄在github上的一个开源库Train_Custom_Dataset,用原生pytorch实现图像分类,实时的可视化模型训练过程中的各种量。