机器学习大白话杂谈(2)——Pytorch 深度学习训练时常见问题。

一、如何加载数据

在使用大量的网上数据后，大家肯定会开始想自己采集一些数据来训练模型，正好Pytorch完全提供了数据加载的方式。

要是英文好，可以看这个原版：Pytorch加载数据可能要科学上网

要是对英文没有信心的，可以看中文版的，反正几乎就是翻译一遍：简书：Pytorch如何加载数据

跟着例子走一遍，遇到不懂的函数直接google 或百度，应该是完全OJBK的。

这篇文章主要讲了：数据的加载、数据的处理、数据的基本显示

 

二、Train时，loss的一些表现形式及其所含的意义

• train loss 不断下降，test loss不断下降：说明网络仍在学习;
• train loss 不断下降，test loss趋于不变：说明网络过拟合;
• train loss 趋于不变，test loss不断下降：说明数据集100%有问题;
• train loss 趋于不变，test loss趋于不变：说明学习遇到瓶颈，需要减小学习率或批量数目;或者是数据集有问题（数据集标注                                                                              错误数据比较多）
• train loss 不断上升，test loss不断上升：说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。

 

三、自适应学习速率SGD的选择。

  在选择梯度下降学习速率时候，可以尝试从下到大的尝试方法。可以是：0.001——0.003——0.01——0.03.这样的方向来尝试。