xy_learning的博客

当pytorch提供的内置损失函数无法实现需求时，可以通过自定义损失函数来实现目标。内置损失函数定义在torch.nn中，常用的有MSELoss(),L1Loss(),CrossEntropyLoss()等。自定义损失函数常通过类实现，像自定义神经网络一样，继承nn.Module()并且实现__init__()和forward()函数，在使用时，直接实例化类对象即可，这样实现的好处是全程用pytorch内置的数据结构进行处理，规范统一。动态调整学习率的目的是让减少网络训练中震荡，是loss继续下降，模型

一、机器学习的分类传统的机器学习分类可以分为监督式学习、非监督式学习两大类，目前已经扩充并包括强化学习等。二、监督式学习：回归 分类 两大类1.线性回归：线性回归是最简单的回归模型，其损失函数为平方代价函数，且为一个典型的凹函数，可以通过梯度下降收敛到最低点。对于多元问题，原理是一致的；对于高次问题可以通过提前处理特征值来完成。2.分类问题：二分类问题的关键在于我们希望特征输入后输出值为0-1之间的值，因而我们可以采用一些激活函数来完成对输入的处理，最简单的一个就是sigmod函数，该函