分类问题常用的损失函数及pytorch实现

前言：
分类问题和回归问题是监督学习的两大种类，关于回归使用的损失函数: 点击链接.
而分类问题一般分为二分类和多分类，下面我们看看在分类问题中使用的损失函数。

1、二分类问题

（1）交叉熵损失函数

在二分类问题中，损失函数一般为交叉熵损失函数。如下面公式，是对于单个样本的损失函数。

下面是多个样本例子，即mini-batch的损失函数。

（2）pytorch实现

CLASS torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

上面这个就是二分类交叉熵pytorch封装的类。

参数：

weight (Tensor, optional) -对每个批次元件的损失进行手动重标定。如果给定，必须是一个大小为n*batch的张量。
size_average (bool, optional) – 默认情况下，损失是对批处理中的每个损失元素进行平均。注意，对于一些损失，每个样本有多个元素。如果字段size_average被设置为False，则对每个小批处理的损失进行累加。当reduce为False时被忽略。默认值:True
reduce (bool, optional) –默认情况下为True，损失根据size_average对每个小批的观察值进行平均或求和。当reduce为False时，返回每个批处理元素的损失并忽略size_average。
reduction (string, optional) -指定要应用于输出的减少数，值可以为’none’ 或 ‘mean’ 或’sum’。“none”:不进行降价；“mean”:输出的总和除以输出元素的数量；‘sum’:对输出进行求和。注意:这是在size_average和reduce没有使用的时候，同时，指定这两个参数中的任何一个都将覆盖reduction。默认值:“mean”。

例子：

>>> import torch
>>> import torch.nn as nn
>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss() # 没有参数，用的是默认值
>>> input